aidp-profiling-tables
/aidp-profiling-tables
Profiluje tabelę AIDP: liczba wierszy, odsetek nulli i liczba wartości unikalnych w kolumnach, min, max, średnia i najczęstsze wartości, ograniczonymi zapytaniami Spark SQL.
- Autor
- oracle-samples ↗
- Repozytorium
- oracle-aidp-samples ↗
- Licencja
- UPL-1.0
- Ostatnia zmiana repozytorium
- 26.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 26.10.2026, bez odwołań do wycofanych modeli i API.
UPL-1.0, otwarta.
Co robi i kiedy
Profiluje tabelę AIDP: liczba wierszy, odsetek nulli i liczba wartości unikalnych w kolumnach, min, max, średnia i najczęstsze wartości, ograniczonymi zapytaniami Spark SQL.
Oryginalny opis (EN)
Profile an AIDP table — row count, per-column null %, distinct count, min/max/mean, and top-K values. Use when the user asks to profile a table, wants column statistics or a data-quality snapshot, or needs to understand a dataset's shape before using it. Runs bounded Spark SQL via the bundled aidp_sql.py helper.
Jak działa
- When to use
- Workflow
- Reliability rules
- References
Podgląd SKILL.md
---
name: aidp-profiling-tables
description: Profile an AIDP table — row count, per-column null %, distinct count, min/max/mean, and top-K values. Use when the user asks to profile a table, wants column statistics or a data-quality snapshot, or needs to understand a dataset's shape before using it. Runs bounded Spark SQL via the bundled aidp_sql.py helper.
---
# `aidp-profiling-tables` — single-table profile
Produce a column-level profile of an AIDP table via Spark SQL. Self-contained: control-plane lookups
use `oci raw-request`; profiling SQL runs through the bundled `scripts/aidp_sql.py` helper. No aidp MCP
server is required.
## When to use
- "Profile <table>", "what does <table> look like", "column stats / data quality snapshot".
## Workflow
1. Resolve the table (`aidp-catalog-explore` / `.aidp/catalog.md`) → fully-qualified `catalog.schema.table`
and its columns/types. Without a cache, list via `oci raw-request`:
`GET /tables?catalogKey=<cat>&schemaKey=<cat.schema>` and filter for the table client-side (see
[references/no-mcp-rest-map.md](../../references/no-mcp-rest-map.md)). Use the column types to pick the
right per-column profiling SQL.
2. Run bounded profiling SQL via the helper (one cell per call; the scratch notebook + kernel are managed
for you):
```bash
python "$PLUGIN_DIR/scripts/aidp_sql.py" --region <r> --datalake <ocid> --workspace <ws> --cluster <key> \
--code "spark.sql('''<profiling SQL>''').show(50, truncate=False)"
```
- **Overview:** `SELECT COUNT(*) FROM t` (flag if LARGE; sample for the rest).
- **Numeric cols:** `MIN`, `MAX`, `AVG`, `COUNT`, null %, approx distinct (`approx_count_distinct`).
- **String/categorical:** null %, `approx_count_distinct`, top-K via `GROUP BY … ORDER BY count DESC LIMIT k`.
- **Date/timestamp:** `MIN`/`MAX` range, null %.
Use `TABLESAMPLE`/`LIMIT` on large tables to stay cheap; say when you sampled. The helper returns JSON
(`status`, `outputs`, `spark_job_ids`) — parse `outputs` for the result rows.
3. Present a per-column table: type, null %, distinct, min/max/mean (numeric), top values (categorical).
4. Offer to feed findings into `.aidp/catalog.md` value dictionaries (`aidp-catalog-init`) and to add
data-quality rules (`aidp-data-quality`).
## Reliability rules
- Profile from real query output, not assumptions; note sampling.
- For very large tables, profile a sample and label it clearly.
- The helper mints a UPST from the api_key DEFAULT profile and auto-creates a scratch notebook; pass
`--session-profile AIDP_SESSION` only if your tenancy is session-token-only. On a kernel/auth error,
refresh (`oci session refresh --profile AIDP_SESSION`) and retry.
## References
- [references/oci-raw-request.md](../../references/oci-raw-request.md) · [references/no-mcp-rest-map.md](../../references/no-mcp-rest-map.md) · pairs with `aidp-data-quality`, `aidp-catalog-init`
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · oracle-samples/oracle-aidp-samples | 100 | UPL-1.0 |
| oracle-samples/oracle-aidp-samples | 100 | UPL-1.0 |
Migawka bazy z 13.11.2026 · wersja paczki e6b7907f5473 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100aidp-data-quality
Sprawdza reguły jakości danych w tabelach AIDP: brak nulli, unikalność, dozwolone zakresy i zbiory, integralność referencyjna i świeżość, każdą jako ograniczone zapytanie Spark SQL z wynikiem i liczbą naruszeń. - 100aidp-data-quality
Sprawdza reguły jakości danych w tabelach AIDP: brak nulli, unikalność, dozwolone zakresy i zbiory, integralność referencyjna i świeżość, każdą jako ograniczone zapytanie Spark SQL z wynikiem i liczbą naruszeń. - 100profiling-tables
Profiluje dane wskazanej tabeli: statystyki zbioru, jakość danych oraz struktura i zawartość tabeli. - 100profile-dataset
Tworzy profil pokrycia i jakości zbioru danych Narrative: liczba wierszy, wypełnienie kolumn, kardynalność, zakresy, najczęstsze wartości i flagi jakości. - 100csv-profile
Profiluje plik CSV: typy kolumn, odsetek pustych wartości, liczbę unikalnych wartości i zduplikowane wiersze przed analizą. - 100explore-data
Profiluje i bada zbiór danych, by poznać jego kształt, jakość i wzorce: odsetek braków, rozkłady kolumn, duplikaty, podejrzane wartości i wybór wymiarów do analizy.