Przejdź do treści
Biblioteka skilli
Dane i analityka · Analiza

debugging-data-pipelines

/debugging-data-pipelines

Systematycznie szuka przyczyn awarii potoków danych i incydentów: śledzi lineage w górę, izoluje etap z błędem, uzgadnia dane ze źródłem i planuje bezpieczną poprawkę oraz backfill.

Licencja
Apache-2.0
Ostatnia zmiana repozytorium
30.08.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 30.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Systematycznie szuka przyczyn awarii potoków danych i incydentów: śledzi lineage w górę, izoluje etap z błędem, uzgadnia dane ze źródłem i planuje bezpieczną poprawkę oraz backfill.

Oryginalny opis (EN)

Systematically root-cause data pipeline failures and data incidents — job errors, wrong or missing data, duplicates, and freshness misses — by tracing lineage upstream, isolating the failing stage, reconciling against source, and planning a safe fix and backfill. Use when a pipeline fails, numbers look wrong, data is missing or duplicated, a dashboard is stale, or a stakeholder reports a data discrepancy.

Jak działa

  1. When to use
  2. Workflow
  3. Patterns
  4. Common pitfalls
Sekcje z nagłówków SKILL.md, w oryginale · 70 linii, 473 słów
Podgląd SKILL.md
---
name: debugging-data-pipelines
description: Systematically root-cause data pipeline failures and data incidents — job errors, wrong or missing data, duplicates, and freshness misses — by tracing lineage upstream, isolating the failing stage, reconciling against source, and planning a safe fix and backfill. Use when a pipeline fails, numbers look wrong, data is missing or duplicated, a dashboard is stale, or a stakeholder reports a data discrepancy.
---

# Debugging Data Pipelines

## When to use

- A pipeline job failed, or output data is wrong/missing/duplicated.
- A dashboard is stale or a metric doesn't reconcile with the source.
- A stakeholder reports a discrepancy and you must find the cause.
- Do NOT use for tool-specific run errors already covered by
  `debugging-dbt-runs` / `debugging-airflow-pipelines` (start there, then use
  this for data-correctness incidents).

## Workflow

```
- [ ] Define the symptom precisely (which table, column, rows, time window)
- [ ] Trace lineage upstream to find the first stage where data is wrong
- [ ] Isolate: is it a code bug, bad input, late data, or a run failure?
- [ ] Reconcile the suspect stage against its source (counts/sums)
- [ ] Fix root cause, then plan an idempotent backfill of affected windows
- [ ] Add a check so it can't recur silently
```

1. **Pin the symptom.** "Revenue for 2026-01-15 is ~30% low in `fct_orders`" is
   debuggable; "numbers look off" is not. Get the table, column, rows, and window.
2. **Trace lineage upstream.** Walk from the wrong output backward through models/
   tasks to find the **first** stage where the data is already wrong. Binary-search
   the DAG rather than reading every stage.
3. **Classify the cause:** code change, bad/late source data, a failed/partial
   run, or a non-idempotent duplicate.
4. **Reconcile** the suspect stage vs its input (row counts, key counts, sums) to
   confirm where the delta appears.
5. **Fix + backfill** the affected windows idempotently (see
   `designing-backfills-and-replays`).
6. **Prevent recurrence** with a targeted data quality check.

## Patterns

**Lineage binary search** — check a stage halfway up the DAG: if its data is
correct, the bug is downstream; if wrong, go further up. Repeat.

**Reconcile source vs target** for the affected window:

```sql
-- Do counts/sums match between the stage and its input for the bad window?
SELECT 'source' AS layer, COUNT(*) n, SUM(amount) total
FROM staging.orders WHERE order_date = DATE '2026-01-15'
UNION ALL
SELECT 'target', COUNT(*), SUM(amount)
FROM marts.fct_orders WHERE order_date = DATE '2026-01-15';
```

A count gap → dropped/filtered rows or a failed partial load. A sum gap with equal
counts → a transformation/logic bug. Higher target count → duplication
(non-idempotent load).

**Timeline check** — correlate the incident window with deploys, source schema
changes, and run history; most incidents start at a change.

## Common pitfalls

- **Fixing symptoms downstream** — patching the mart when the bug is in staging
  means it recurs; fix the first bad stage.
- **Manual one-off fixes to prod data** — un-auditable and unrepeatable; fix the
  code and re-run idempotently instead.
- **Reading the whole DAG linearly** — binary-search lineage instead.
- **Skipping reconciliation** — guessing where data diverged wastes time; measure
  counts/sums per stage.
- **No preventive check after the fix** — the same class of bug returns unseen.

Wersje

W bazie nie ma innych skilli o nazwie debugging-data-pipelines.

Migawka bazy z 13.11.2026 · wersja paczki c28bed3328ff (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100tracing-upstream-lineage
    Śledzi pochodzenie danych w górę łańcucha: skąd dane pochodzą, co zasila daną tabelę i jakie są jej źródła oraz zależności.
  • 100data-lineage-tracker
    Prawdopodobnie śledzi pochodzenie danych (lineage) w potokach danych.
  • 95monte-carlo-analyze-root-cause
    Bada incydenty danych i szuka ich przyczyn na podstawie danych obserwacyjnych Monte Carlo: sprawdza alerty, śledzi lineage, kontroluje ETL, analizuje zapytania i profiluje dane.
  • 100tracing-upstream-lineage
    Śledzi pochodzenie danych wstecz: skąd biorą się dane, co zasila tabelę i jakie są zależności wejściowe.
  • 90data
    Obsługuje pipeline'y, hurtownie, modele i metryki dbt, gdzie awaria oznacza po cichu błędne liczby: świeżość, asercje liczby wierszy i null-rate, kontrakty danych, uzgadnianie i bezpieczny backfill.
  • 100datahub-lineage
    Bada pochodzenie danych w DataHub: zależności, analiza wpływu, przyczyny źródłowe i mapowanie potoków, w tym pytania o to, co zasila dany zasób lub od niego zależy.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.