Przejdź do treści
Biblioteka skilli
Dane i analityka · Analiza

aidp-profiling-tables

/aidp-profiling-tables

Profiluje tabelę AIDP: liczba wierszy, odsetek nulli i liczba wartości unikalnych w kolumnach, min, max, średnia i najczęstsze wartości, ograniczonymi zapytaniami Spark SQL.

Licencja
UPL-1.0
Ostatnia zmiana repozytorium
26.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 26.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

UPL-1.0, otwarta.

Co robi i kiedy

Profiluje tabelę AIDP: liczba wierszy, odsetek nulli i liczba wartości unikalnych w kolumnach, min, max, średnia i najczęstsze wartości, ograniczonymi zapytaniami Spark SQL.

Oryginalny opis (EN)

Profile an AIDP table — row count, per-column null %, distinct count, min/max/mean, and top-K values. Use when the user asks to profile a table, wants column statistics or a data-quality snapshot, or needs to understand a dataset's shape before using it. Runs bounded Spark SQL via the bundled aidp_sql.py helper.

Jak działa

  1. When to use
  2. Workflow
  3. Reliability rules
  4. References
Sekcje z nagłówków SKILL.md, w oryginale · 42 linii, 311 słów
Podgląd SKILL.md
---
name: aidp-profiling-tables
description: Profile an AIDP table — row count, per-column null %, distinct count, min/max/mean, and top-K values. Use when the user asks to profile a table, wants column statistics or a data-quality snapshot, or needs to understand a dataset's shape before using it. Runs bounded Spark SQL via the bundled aidp_sql.py helper.
---

# `aidp-profiling-tables` — single-table profile

Produce a column-level profile of an AIDP table via Spark SQL. Self-contained: control-plane lookups
use `oci raw-request`; profiling SQL runs through the bundled `scripts/aidp_sql.py` helper. No aidp MCP
server is required.

## When to use
- "Profile <table>", "what does <table> look like", "column stats / data quality snapshot".

## Workflow
1. Resolve the table (`aidp-catalog-explore` / `.aidp/catalog.md`) → fully-qualified `catalog.schema.table`
   and its columns/types. Without a cache, list via `oci raw-request`:
   `GET /tables?catalogKey=<cat>&schemaKey=<cat.schema>` and filter for the table client-side (see
   [references/no-mcp-rest-map.md](../../references/no-mcp-rest-map.md)). Use the column types to pick the
   right per-column profiling SQL.
2. Run bounded profiling SQL via the helper (one cell per call; the scratch notebook + kernel are managed
   for you):
   ```bash
   python "$PLUGIN_DIR/scripts/aidp_sql.py" --region <r> --datalake <ocid> --workspace <ws> --cluster <key> \
     --code "spark.sql('''<profiling SQL>''').show(50, truncate=False)"
   ```
   - **Overview:** `SELECT COUNT(*) FROM t` (flag if LARGE; sample for the rest).
   - **Numeric cols:** `MIN`, `MAX`, `AVG`, `COUNT`, null %, approx distinct (`approx_count_distinct`).
   - **String/categorical:** null %, `approx_count_distinct`, top-K via `GROUP BY … ORDER BY count DESC LIMIT k`.
   - **Date/timestamp:** `MIN`/`MAX` range, null %.
   Use `TABLESAMPLE`/`LIMIT` on large tables to stay cheap; say when you sampled. The helper returns JSON
   (`status`, `outputs`, `spark_job_ids`) — parse `outputs` for the result rows.
3. Present a per-column table: type, null %, distinct, min/max/mean (numeric), top values (categorical).
4. Offer to feed findings into `.aidp/catalog.md` value dictionaries (`aidp-catalog-init`) and to add
   data-quality rules (`aidp-data-quality`).

## Reliability rules
- Profile from real query output, not assumptions; note sampling.
- For very large tables, profile a sample and label it clearly.
- The helper mints a UPST from the api_key DEFAULT profile and auto-creates a scratch notebook; pass
  `--session-profile AIDP_SESSION` only if your tenancy is session-token-only. On a kernel/auth error,
  refresh (`oci session refresh --profile AIDP_SESSION`) and retry.

## References
- [references/oci-raw-request.md](../../references/oci-raw-request.md) · [references/no-mcp-rest-map.md](../../references/no-mcp-rest-map.md) · pairs with `aidp-data-quality`, `aidp-catalog-init`

Wersje

RepozytoriumWynikLicencja
Ta strona · oracle-samples/oracle-aidp-samples100UPL-1.0
oracle-samples/oracle-aidp-samples100UPL-1.0

Migawka bazy z 13.11.2026 · wersja paczki e6b7907f5473 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100aidp-data-quality
    Sprawdza reguły jakości danych w tabelach AIDP: brak nulli, unikalność, dozwolone zakresy i zbiory, integralność referencyjna i świeżość, każdą jako ograniczone zapytanie Spark SQL z wynikiem i liczbą naruszeń.
  • 100aidp-data-quality
    Sprawdza reguły jakości danych w tabelach AIDP: brak nulli, unikalność, dozwolone zakresy i zbiory, integralność referencyjna i świeżość, każdą jako ograniczone zapytanie Spark SQL z wynikiem i liczbą naruszeń.
  • 100profiling-tables
    Profiluje dane wskazanej tabeli: statystyki zbioru, jakość danych oraz struktura i zawartość tabeli.
  • 100profile-dataset
    Tworzy profil pokrycia i jakości zbioru danych Narrative: liczba wierszy, wypełnienie kolumn, kardynalność, zakresy, najczęstsze wartości i flagi jakości.
  • 100csv-profile
    Profiluje plik CSV: typy kolumn, odsetek pustych wartości, liczbę unikalnych wartości i zduplikowane wiersze przed analizą.
  • 100explore-data
    Profiluje i bada zbiór danych, by poznać jego kształt, jakość i wzorce: odsetek braków, rozkłady kolumn, duplikaty, podejrzane wartości i wybór wymiarów do analizy.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.