Przejdź do treści
Biblioteka skilli
Dane i analityka · Planowanie

data-pipelines

/data-pipelines

Projektuje niezawodne potoki danych pod kątem poprawności, świeżości, kompletności, późnych danych i idempotencji według Google SRE.

Licencja
MIT
Ostatnia zmiana repozytorium
30.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
2
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
2
Przestarzałość

Brak sygnałów. Repozytorium zmienione 30.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Projektuje niezawodne potoki danych pod kątem poprawności, świeżości, kompletności, późnych danych i idempotencji według Google SRE.

Oryginalny opis (EN)

Design reliable data/processing pipelines: correctness, freshness, completeness, late data, and idempotency per Google SRE. Use for ETL/stream reliability and pipeline SLOs.

Jak działa

  1. When to use
  2. Principles
  3. Workflow
  4. Decision guide
  5. Output template
  6. Anti-patterns
  7. Related skills
  8. Canonical references
  9. Agent notes
Sekcje z nagłówków SKILL.md, w oryginale · 61 linii, 208 słów
Podgląd SKILL.md
---
name: data-pipelines
description: >-
  Design reliable data/processing pipelines: correctness, freshness, completeness, late data, and idempotency per Google SRE. Use for ETL/stream reliability and pipeline SLOs.
---

# Data Pipelines

**Domain:** `resilience`  
**Sources:** SRE Book 1e Ch25, Workbook Ch13

## When to use

- Pipeline SLO design
- Freshness incidents
- Exactly-once / idempotency debates

## Principles

- Pipeline SLIs often: freshness, correctness, completeness — not just job success.
- Idempotency and replay are core reliability tools.
- Late data and skew need explicit policy.
- Probers with known outcomes beat vibes for correctness.

## Workflow

1. Define consumer CUJs that depend on pipeline output.
2. Choose SLIs (freshness windows, completeness per hour, correctness prober).
3. Document failure modes: stuck, skew, poison pill, hotspot.
4. Add observability: lag, throughput, poison rates, DLQ age.
5. Alert on budget burn for freshness/completeness.

## Decision guide

- If 'success' jobs skip records → completeness SLI required.

## Output template

```markdown
# Pipeline reliability plan
- Consumers / CUJs:
- SLIs/SLOs:
- Failure modes + detections:
- Replay/idempotency story:
```

## Anti-patterns

- Only monitoring job exit codes.
- Silent drops.

## Related skills

`sli-slo-design`, `data-integrity`, `monitoring-observability`

## Canonical references

- [Data Processing Pipelines](https://sre.google/sre-book/data-processing-pipelines/)
- [Workbook Pipelines](https://sre.google/workbook/data-processing-pipelines/)

## Agent notes

- Prefer live data (metrics, tickets, pages) over generic advice.
- Cite which Google SRE source informed a recommendation when useful.
- Keep outputs tactical: decisions, owners, next actions.
Pliki w paczce (2)
  • SKILL.md 2 KB
  • reference.md 1 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · mawero83/google-sre-skills100MIT
sallaumen/elixir-agent-kit100MIT
reddygopalkrishna/developer-agent-skills100MIT
nahid-sparktales/agent-dispatcher100MIT
kid-sid/codex-spellbook95MIT

Migawka bazy z 13.11.2026 · wersja paczki eacf0688a8c6 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100data-engineering
    Projektuje, buduje i utrzymuje niezawodne potoki danych: ETL i ELT, przetwarzanie wsadowe i strumieniowe, jakość danych i kontrolowany dostęp do danych.
  • 90data-engineering
    Projektuje niezawodne potoki danych: pozyskiwanie, ELT, orkiestrację, modelowanie, jakość i idempotentność przy zadaniach wsadowych i strumieniowych.
  • 91sre-reliability-engineering
    Pomaga budować niezawodne i skalowalne systemy rozproszone według praktyk inżynierii niezawodności SRE.
  • 100data-engineer
    Projektuje, buduje i optymalizuje potoki danych, procesy ETL i ELT oraz infrastrukturę danych, w tym orkiestrację, jakość danych i koszty przetwarzania.
  • 100data-engineer
    Projektuje, buduje i optymalizuje potoki danych, procesy ETL i ELT oraz infrastrukturę danych, w tym orkiestrację i koszty przetwarzania.
  • 100tech-data-pipeline
    Projektuje pipeline'y danych: architektury ETL i ELT, integracja źródeł, harmonogramy, kontrole jakości i projekt hurtowni danych, przy przenoszeniu danych między systemami.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.