incremental-processing
/incremental-processing
Przetwarza tylko nowe i zmienione dane z użyciem watermarków, strategii merge i awaryjnego pełnego odświeżenia, gdy pełne przebudowy tabel są wolne lub drogie.
- Autor
- Amey-Thakur ↗
- Repozytorium
- AI-SKILLS ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 05.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Przetwarza tylko nowe i zmienione dane z użyciem watermarków, strategii merge i awaryjnego pełnego odświeżenia, gdy pełne przebudowy tabel są wolne lub drogie.
Oryginalny opis (EN)
Process only new and changed data with watermarks, merge strategies, and a full-refresh escape hatch. Use when full-table rebuilds get slow or costly and models must go incremental.
Jak działa
- Method
- Boundaries
Podgląd SKILL.md
--- name: incremental-processing description: Process only new and changed data with watermarks, merge strategies, and a full-refresh escape hatch. Use when full-table rebuilds get slow or costly and models must go incremental. --- # Incremental processing Incremental means trading rebuild simplicity for delta bookkeeping. The bookkeeping has exactly three parts: how you detect new data, how you merge it, and how you recover when either is wrong. ## Method 1. **Go incremental at measured pain, not by default.** Full rebuilds are self-healing (every run fixes everything); switch a model only when its build time or cost crosses your threshold. Small dimensions stay full-refresh forever; giant fact and event tables are the incremental candidates. 2. **Detect deltas with a trustworthy cursor.** Options in order of reliability: CDC streams (see change-data-capture), append-only event time with a high-watermark, `updated_at` columns (only if the source actually maintains them: verify, do not assume), else snapshot-diff. Persist the watermark transactionally with the run's success so a crashed run resumes, not skips. 3. **Overlap the watermark for late data.** Reprocess a trailing window (`WHERE event_time > watermark - interval 'N days'`) sized from measured late-arrival distribution (see data-pipeline-design late-data policy). The merge makes the overlap idempotent; the window makes lateness harmless. 4. **Choose the merge by key behavior.** Append-only (immutable events): insert new partitions, cheapest. Upsert/MERGE on unique keys (mutable entities): handles updates, needs the key to truly be unique. Delete+insert by partition: when updates cluster in recent partitions. Deletes at the source need CDC or soft-delete flags; diff-based delete detection at scale is a full scan in disguise. 5. **Keep the full-refresh lever oiled.** Every incremental model must support a forced full rebuild from raw (schema change, logic change, corruption); test it quarterly on the big tables, know its cost and duration. An incremental model without a working full-refresh is one bug away from permanent drift. 6. **Audit for drift on a schedule.** Periodic reconciliation between incremental output and a sampled fresh computation (counts, sums by partition; see data-quality-checks); silent drift from missed deltas is incremental processing's signature failure and it never announces itself. ## Boundaries - Non-additive transformations (window functions over all history, global dedup) resist partition-local incrementality; restructure the model or accept periodic full rebuilds for those layers. - Streaming incremental (continuous) shares the watermark/merge logic with tighter latency and its own engine semantics (see batch-vs-streaming); do not hand-build streaming on cron. - Late data beyond your overlap window is a product decision (restate history or ignore), not an engineering one; get it in writing (see data-retention for restatement policy adjacency).
Wersje
W bazie nie ma innych skilli o nazwie incremental-processing.
Migawka bazy z 13.11.2026 · wersja paczki 82e24034b88a (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100developing-incremental-models
Rozwija i diagnozuje przyrostowe modele dbt: wybór strategii, unique_key i partycji, błędy merge, przycinanie partycji, schema drift i wydajność. - 100incremental-load-setup
Pomaga skonfigurować ładowanie przyrostowe w potokach danych, gdy ktoś prosi o incremental load setup. - 90cdc-and-incremental-loading
Prowadzi agentów przez projekt change data capture i ładowań przyrostowych: watermarki, upserty, deduplikację, merge, spóźnione dane i powtarzalne potoki. - 100aidp-fusion-incremental
Uruchamia strzeżone przyrostowe odświeżenia Fusion z kontrolą dryfu, znaczników, hasha planu i warunków wstępnych: dzienne delty, odświeżenia zakresowe, wznowienia i awarie. - 100aidp-fusion-incremental
Zamienia opis odświeżenia w języku naturalnym w strzeżone aidp-fusion-autopilot run --mode incremental (dzienne scalanie delt) z kontrolą dryfu PVO i bronze, kursora znacznika i hasha planu. - 95tuning-incremental-sync-config
Zmienia konfigurację synchronizacji istniejącej tabeli w hurtowni: tryb, pole przyrostowe, klucze główne, CDC i częstotliwość.