Przejdź do treści
Biblioteka skilli
Dane i analityka · Automatyzacja

data-quality-checks

/data-quality-checks

Warstwuje kontrole świeżości, wolumenu, schematu i rozkładu z kwarantanną i dyscypliną alertów, przy dodawaniu bramek jakości do potoków.

Repozytorium
AI-SKILLS ↗
Licencja
MIT
Ostatnia zmiana repozytorium
05.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Warstwuje kontrole świeżości, wolumenu, schematu i rozkładu z kwarantanną i dyscypliną alertów, przy dodawaniu bramek jakości do potoków.

Oryginalny opis (EN)

Layer freshness, volume, schema, and distribution checks with quarantine and alert discipline. Use when adding quality gates to pipelines or when consumers keep finding bad data first.

Jak działa

  1. Method
  2. Boundaries
Sekcje z nagłówków SKILL.md, w oryginale · 56 linii, 395 słów
Podgląd SKILL.md
---
name: data-quality-checks
description: Layer freshness, volume, schema, and distribution checks with quarantine and alert discipline. Use when adding quality gates to pipelines or when consumers keep finding bad data first.
---

# Data quality checks

The goal is that pipelines find bad data before consumers do. Checks
are cheap; the design work is choosing severities and keeping alerts
scarce enough to stay believed.

## Method

1. **Cover the four layers on every important table.** Freshness
   (partition/last-load age vs SLA), volume (row count vs recent
   history, within tolerance bands), schema (columns, types, and
   accepted enum values; see schema-evolution for the contract side),
   and distribution (null rates, duplicate-key rates, value ranges,
   category shares vs baseline). Most incidents announce themselves
   in one of the four before any human notices.
2. **Attach severity and action to each check.** Blocking: violation
   fails the run and stops publication (nulls in a join key,
   duplicate primary keys, schema break). Warning: publish but
   notify (volume 20% off baseline). A check without a decided
   action is a dashboard nobody reads.
3. **Gate at boundaries, quarantine at ingestion.** Validate at
   landing (reject/quarantine malformed rows to a side table with
   error reason, load the rest), and again between transform and
   publish (see data-pipeline-design step 6). Row-level quarantine
   keeps one bad producer from blocking the whole batch, and gives
   producers a concrete list to fix.
4. **Baseline dynamically, alert on deviation.** Fixed thresholds rot
   with growth; compare against trailing same-day-of-week windows
   with seasonal awareness. Start warn-only for two weeks to
   calibrate tolerances, then promote stable checks to blocking:
   tuning in production with real variance beats guessing.
5. **Route alerts to owners with context.** Each table has an owner
   (see data-pipeline-design boundaries); the alert carries table,
   check, observed vs expected, affected partitions, and the lineage
   link to likely upstream causes (see data-lineage). An alert
   channel everyone mutes is worse than no checks: prune or fix any
   check that fires weekly without action.
6. **Publish quality as a contract.** Freshness and quality status
   visible to consumers (a status page or catalog badge), incidents
   communicated like outages: consumers who learn quality from your
   status page instead of their dashboards keep trusting the
   platform.

## Boundaries

- Checks catch anomalies, not wrongness that looks normal; semantic
  correctness (is revenue *defined* right) is modeling and review
  territory (see warehouse-modeling).
- 100% coverage is alert bankruptcy; instrument the tables consumers
  depend on, in proportion to blast radius.
- Do not silently "fix" bad data in-pipeline (imputation, dedup
  without provenance); repairs are transformations with owners,
  tests, and documentation, or they are corruption with good
  intentions.

Wersje

W bazie nie ma innych skilli o nazwie data-quality-checks.

Migawka bazy z 13.11.2026 · wersja paczki 39e47f00b63a (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100implementing-data-quality-checks
    Dodaje do potoków kontrole jakości danych: świeżość, anomalie wolumenu, zmiany schematu, null, unikalność, integralność referencyjna i rozkłady wartości w dbt, Great Expectations lub Soda.
  • 100data-quality-checker
    Wdraża kontrole jakości danych, reguły walidacji i monitoring dla potoków danych oraz governance.
  • 100data-quality-auditor
    Audytuje jakość danych w potokach, hurtowniach i magazynach: program DQ, wymiary jakości, kontrole oparte na regułach, dryf schematu, SLA świeżości i reakcja na incydent jakości danych.
  • 90data-quality-gates
    Decyduje, które kontrole jakości danych blokują publikację, a które tylko ostrzegają: świeżość, schemat, klucze, wolumen i reguły biznesowe.
  • 90clean-validate
    Projektuje pipeline walidacji danych: kontrole schematu, walidację zakresów i metryki jakości.
  • 100test-generator
    Generuje testy dbt: schematyczne, jakości danych i świeżości, dla modeli dbt i walidacji danych.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.