data-pipelines
/data-pipelines
Projektuje niezawodne potoki danych pod kątem poprawności, świeżości, kompletności, późnych danych i idempotencji według Google SRE.
- Autor
- mawero83 ↗
- Repozytorium
- google-sre-skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 30.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 2
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 30.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Projektuje niezawodne potoki danych pod kątem poprawności, świeżości, kompletności, późnych danych i idempotencji według Google SRE.
Oryginalny opis (EN)
Design reliable data/processing pipelines: correctness, freshness, completeness, late data, and idempotency per Google SRE. Use for ETL/stream reliability and pipeline SLOs.
Jak działa
- When to use
- Principles
- Workflow
- Decision guide
- Output template
- Anti-patterns
- Related skills
- Canonical references
- Agent notes
Podgląd SKILL.md
--- name: data-pipelines description: >- Design reliable data/processing pipelines: correctness, freshness, completeness, late data, and idempotency per Google SRE. Use for ETL/stream reliability and pipeline SLOs. --- # Data Pipelines **Domain:** `resilience` **Sources:** SRE Book 1e Ch25, Workbook Ch13 ## When to use - Pipeline SLO design - Freshness incidents - Exactly-once / idempotency debates ## Principles - Pipeline SLIs often: freshness, correctness, completeness — not just job success. - Idempotency and replay are core reliability tools. - Late data and skew need explicit policy. - Probers with known outcomes beat vibes for correctness. ## Workflow 1. Define consumer CUJs that depend on pipeline output. 2. Choose SLIs (freshness windows, completeness per hour, correctness prober). 3. Document failure modes: stuck, skew, poison pill, hotspot. 4. Add observability: lag, throughput, poison rates, DLQ age. 5. Alert on budget burn for freshness/completeness. ## Decision guide - If 'success' jobs skip records → completeness SLI required. ## Output template ```markdown # Pipeline reliability plan - Consumers / CUJs: - SLIs/SLOs: - Failure modes + detections: - Replay/idempotency story: ``` ## Anti-patterns - Only monitoring job exit codes. - Silent drops. ## Related skills `sli-slo-design`, `data-integrity`, `monitoring-observability` ## Canonical references - [Data Processing Pipelines](https://sre.google/sre-book/data-processing-pipelines/) - [Workbook Pipelines](https://sre.google/workbook/data-processing-pipelines/) ## Agent notes - Prefer live data (metrics, tickets, pages) over generic advice. - Cite which Google SRE source informed a recommendation when useful. - Keep outputs tactical: decisions, owners, next actions.
Pliki w paczce (2)
- SKILL.md 2 KB
- reference.md 1 KB
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · mawero83/google-sre-skills | 100 | MIT |
| sallaumen/elixir-agent-kit | 100 | MIT |
| reddygopalkrishna/developer-agent-skills | 100 | MIT |
| nahid-sparktales/agent-dispatcher | 100 | MIT |
| kid-sid/codex-spellbook | 95 | MIT |
Migawka bazy z 13.11.2026 · wersja paczki eacf0688a8c6 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100data-engineering
Projektuje, buduje i utrzymuje niezawodne potoki danych: ETL i ELT, przetwarzanie wsadowe i strumieniowe, jakość danych i kontrolowany dostęp do danych. - 90data-engineering
Projektuje niezawodne potoki danych: pozyskiwanie, ELT, orkiestrację, modelowanie, jakość i idempotentność przy zadaniach wsadowych i strumieniowych. - 91sre-reliability-engineering
Pomaga budować niezawodne i skalowalne systemy rozproszone według praktyk inżynierii niezawodności SRE. - 100data-engineer
Projektuje, buduje i optymalizuje potoki danych, procesy ETL i ELT oraz infrastrukturę danych, w tym orkiestrację, jakość danych i koszty przetwarzania. - 100data-engineer
Projektuje, buduje i optymalizuje potoki danych, procesy ETL i ELT oraz infrastrukturę danych, w tym orkiestrację i koszty przetwarzania. - 100tech-data-pipeline
Projektuje pipeline'y danych: architektury ETL i ELT, integracja źródeł, harmonogramy, kontrole jakości i projekt hurtowni danych, przy przenoszeniu danych między systemami.