Przejdź do treści
Biblioteka skilli
Dane i analityka · Planowanie

data-quality-gates

/data-quality-gates

Decyduje, które kontrole jakości danych blokują publikację, a które tylko ostrzegają: świeżość, schemat, klucze, wolumen i reguły biznesowe.

Repozytorium
skills ↗
Licencja
MIT
Ostatnia zmiana repozytorium
12.11.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
4
Skrypty
1
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 12.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co sprawdzić przed instalacją
  • 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.

Skrypty: scripts/gates.py

Co robi i kiedy

Decyduje, które kontrole jakości danych blokują publikację, a które tylko ostrzegają: świeżość, schemat, klucze, wolumen i reguły biznesowe.

Oryginalny opis (EN)

Use when deciding which data quality checks a model, source or pipeline needs and whether each one blocks publication or only warns: freshness, schema, keys, volume anomalies and business-rule tests.

Jak działa

  1. Invariants
  2. Choosing gates (test-informed, not test-everything)
  3. Routes
Sekcje z nagłówków SKILL.md, w oryginale · 44 linii, 498 słów
Podgląd SKILL.md
---
name: data-quality-gates
description: "Use when deciding which data quality checks a model, source or pipeline needs and whether each one blocks publication or only warns: freshness, schema, keys, volume anomalies and business-rule tests."
---

# Data quality gates: block vs warn

Green generic tests protect the shape of a table, not the meaning of the numbers. Quality
means the data meets what consumers expect, so gates cover four things: freshness,
contracts (schema and keys), anomalies and business rules. Shift left: catch problems at
the source and staging, where the damage is smallest.

## Invariants

- Every gate has an explicit severity: `block` stops publication; `warn` is recorded and publication continues.
- Block when publishing would be wrong: missing input, stale source past its threshold, broken contract, duplicate keys, count mismatch vs source, failed business rule on a critical column.
- Warn when the value is surprising but possible: volume or metric anomaly, minor nulls in a non-critical column, freshness near the threshold.
- A gate result is data: gate name, severity, state (`pass` | `warn` | `block`), message; written to the run manifest.
- Gates are deterministic code (dbt tests, SQL assertions, Python checks), not an agent's judgment.
- Test the primary key at the first layer it exists; downstream, test only new or transformed columns, plus redundant checks on business-critical mart columns.
- Prefer conventions and code review over cosmetic tests (case, formatting); they bloat the suite and cost money.
- Freshness runs before the build, with per-source thresholds and a filter so it does not scan the whole table.
- Absence is not zero and an access error is not "no data" (skill `data-integrity-tdd`).
- Status and definition of a metric live in the `metric-card` skill (data-analysis plugin). This skill only maps a gate result to a status: a failed `block` gate means the metric is not published as `certified` that run.
- Never weaken or delete a gate to make a run pass; change severity only with the owner's agreement, in a reviewed change.

## Choosing gates (test-informed, not test-everything)

| Concern | Typical gate | Default severity |
|---------|--------------|------------------|
| Freshness | `dbt source freshness`, max(loaded_at) vs threshold | block past error threshold, warn past warn threshold |
| Contract | columns and types, enforced model contract | block |
| Keys | `unique` + `not_null` on PK, relationships on FKs | block (PK), warn or block (FK) by criticality |
| Completeness | row count vs source, missing dates/partitions | block |
| Anomaly | volume or metric outside expected band | warn |
| Business rule | singular test (e.g. no shipped order without items, no negative measures, no open period in a monthly mart) | block when critical |

## Routes

Read only the reference for the task.

| If the task is... | Read |
|-------------------|------|
| Implementing gates in dbt (severity config, singular tests, freshness, store failures) | `references/dbt-gates.md` |
| Mapping a gate result to metric status (certified / indicative / blocked) | `references/metric-status.md` |
| A gate runner in Python with block/warn results and exit codes | `scripts/gates.py` |
| Writing the validator for a one-off analysis | skill `data-integrity-tdd` |
Pliki w paczce (4)
  • SKILL.md 3 KB
  • references/dbt-gates.md 1 KB
  • references/metric-status.md 1 KB
  • scripts/gates.py 2 KB

Wersje

W bazie nie ma innych skilli o nazwie data-quality-gates.

Migawka bazy z 13.11.2026 · wersja paczki d3b2f9eef891 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100implementing-data-quality-checks
    Dodaje do potoków kontrole jakości danych: świeżość, anomalie wolumenu, zmiany schematu, null, unikalność, integralność referencyjna i rozkłady wartości w dbt, Great Expectations lub Soda.
  • 100data-contract
    Definiuje kontrakt danych dla tabeli używanej przez innych: schemat, klucze, dozwolone wartości, świeżość i właściciela oraz generuje testy.
  • 90data-quality-checks
    Warstwuje kontrole świeżości, wolumenu, schematu i rozkładu z kwarantanną i dyscypliną alertów, przy dodawaniu bramek jakości do potoków.
  • 100data-quality
    Waliduje zbiór danych i buduje kontrole jakości w potoku: profilowanie, schematy i ograniczenia, świeżość, kompletność, wykrywanie anomalii i poprawne zatrzymanie potoku.
  • 100data-quality-checker
    Wdraża kontrole jakości danych, reguły walidacji i monitoring dla potoków danych oraz governance.
  • 100set-up-data-observability-monitors
    Ustawia monitory jakości danych: świeżość, wolumen, zmiany schematu i rozkład, z bazą porównawczą i tolerancją, oraz alerty do właścicieli.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.