Przejdź do treści
Biblioteka skilli
Dane i analityka · Budowanie i kod

data-engineering

/data-engineering

Buduje i obsługuje potoki danych: ingestia, transformacje, orkiestracja, testy jakości i niezawodność dostaw, z wyborem batch czy streaming, spóźnionymi i zduplikowanymi danymi oraz zmianami liczb na dashboardzie.

Repozytorium
headcount ↗
Licencja
MIT
Ostatnia zmiana repozytorium
18.10.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
2
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 18.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Buduje i obsługuje potoki danych: ingestia, transformacje, orkiestracja, testy jakości i niezawodność dostaw, z wyborem batch czy streaming, spóźnionymi i zduplikowanymi danymi oraz zmianami liczb na dashboardzie.

Oryginalny opis (EN)

Builds and operates data pipelines — ingestion, transformation, orchestration, quality testing, and reliability of data delivery. Use this to design or debug a pipeline, decide batch versus streaming, add data quality checks, handle late or duplicate data, or work out why a dashboard's numbers changed without anyone changing the dashboard.

Jak działa

  1. Land raw, transform downstream
  2. Idempotence is the property that matters
  3. Late, duplicate and out-of-order data
  4. Test data, not just code
  5. Sources
  6. Tooling
  7. Never
Sekcje z nagłówków SKILL.md, w oryginale · 74 linii, 511 słów
Podgląd SKILL.md
---
name: data-engineering
description: Builds and operates data pipelines — ingestion, transformation, orchestration, quality testing, and reliability of data delivery. Use this to design or debug a pipeline, decide batch versus streaming, add data quality checks, handle late or duplicate data, or work out why a dashboard's numbers changed without anyone changing the dashboard.
---

# Data engineering

Pipelines are production systems whose failures are quiet. A broken service pages someone; a broken
pipeline produces plausible numbers that people act on for a week.

This is movement and transformation. Schema and semantics belong to `data-analytics:data-modeling`,
policy and stewardship to `data-analytics:data-governance`.

## Land raw, transform downstream

Keep an immutable copy of source data exactly as received. Transformation logic will be wrong at some
point, and raw data is what lets you reprocess rather than re-request from a source that may no
longer have it.

Business logic belongs downstream where it is visible and testable, not buried in ingestion. The
exception is transformation required for privacy — minimization, pseudonymization, dropping fields
you have no basis to hold — which belongs at ingest precisely because raw storage is what the
obligation attaches to. See `legal-risk:privacy-and-data-protection`.

## Idempotence is the property that matters

Every pipeline will be re-run: after a failure, after a fix, after a late-arriving correction. A
re-run that double-counts is worse than a failure, because it produces a wrong answer silently.

Design for exactly-once effect at the destination — deterministic keys, merges rather than blind
appends, partitioned overwrites. Then re-running is safe and recovery stops being frightening.

## Late, duplicate and out-of-order data

Real sources deliver all three. Decide explicitly, per pipeline: how late is an event still accepted,
what happens to one arriving after its window closed, and how duplicates are identified.

Distinguish **event time** from **processing time** and partition on event time. Aggregations built
on arrival time silently reassign yesterday's activity to today whenever a delivery is delayed.

## Test data, not just code

Unit tests on transformation logic catch the wrong class of failure. Most damage comes from data that
is valid but wrong. Assert on the data itself, in the pipeline, and fail loudly:

- Row counts within an expected range, not merely non-zero.
- Uniqueness of keys, and referential integrity across joins.
- Freshness — the newest record is recent enough to be meaningful.
- Distribution shifts in important columns.

A silent failure is worse than a loud one. Prefer stopping the pipeline to publishing data you do not
trust.

## Sources

`references/sources.md` in this skill lists the outside authorities that settle the questions
here — what each one is authoritative for, and what you may do with it. Check them before
answering on anything they cover, and cite what you used. Most are free to read and not free
to reproduce; the use note on each is binding.

## Tooling

Warehouses and lakehouses: Snowflake, BigQuery, Databricks, Redshift, and Postgres or
DuckDB at small scale, and similar.

Ingestion: Fivetran, Airbyte, Stitch, and similar. Transformation: dbt, SQLMesh.
Orchestration: Airflow, Dagster, Prefect, and similar.

Buy ingestion and build transformation. Connector maintenance returns nothing for the time
your team puts into it.

## Never

- Transform on ingest for business reasons and discard the raw copy.
- Build a pipeline whose re-run double-counts.
- Aggregate on processing time when event time is available.
- Let a pipeline fail silently and publish stale data as current.
Pliki w paczce (2)
  • SKILL.md 4 KB
  • references/sources.md 2 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · cbrock84/headcount90MIT
travisjneuman/.claude100MIT
fengshao1227/ccg-workflow100MIT
mhingan/agent-forge100MIT
albkue/my-skill100MIT
borhen68/skillengine100MIT
swap-cameroon/kuro-antigravity-config90MIT
andreibesleaga/gabbe90CC-BY-4.0
magnus919/agent-skills85MIT

Migawka bazy z 13.11.2026 · wersja paczki a2d0aa26ce84 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100data-pipeline-architect
    Analizuje i projektuje wsadowe oraz strumieniowe potoki danych z kontraktami, pochodzeniem danych, niezawodnością i kontrolą kosztów dla systemów pobierania i transformacji.
  • 100data-engineering-data-pipeline
    Projektuje skalowalne i opłacalne potoki danych wsadowych i strumieniowych oraz pomaga ulepszać istniejący potok.
  • 100data-pipeline-architect
    Projektuje solidne potoki ETL i ELT: pobieranie danych, idempotencję, ewolucję schematów, orkiestrację (Airflow, Dagster, Prefect, dbt) i walidację jakości danych.
  • 90data-pipeline-design
    Buduje potoki danych, które można bezpiecznie uruchamiać ponownie, czysto uzupełniać wstecz i które znoszą spóźnione dane, w projektach batch i streaming oraz naprawie potoków wymagających opieki.
  • 90data-etl-pipeline
    Projektuje pipeline ETL w Airflow i dbt z obsługą błędów, walidacją danych i obserwowalnością procesów.
  • 100data-ingestion-pipeline
    Buduje potoki pobierania danych wsadowych i strumieniowych z wielu źródeł: strategie ekstrakcji, normalizację formatów, deduplikację, bramki walidacji i obszary pośrednie.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.