Przejdź do treści
Biblioteka skilli
Dane i analityka · Budowanie i kod

incremental-processing

/incremental-processing

Przetwarza tylko nowe i zmienione dane z użyciem watermarków, strategii merge i awaryjnego pełnego odświeżenia, gdy pełne przebudowy tabel są wolne lub drogie.

Repozytorium
AI-SKILLS ↗
Licencja
MIT
Ostatnia zmiana repozytorium
05.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Przetwarza tylko nowe i zmienione dane z użyciem watermarków, strategii merge i awaryjnego pełnego odświeżenia, gdy pełne przebudowy tabel są wolne lub drogie.

Oryginalny opis (EN)

Process only new and changed data with watermarks, merge strategies, and a full-refresh escape hatch. Use when full-table rebuilds get slow or costly and models must go incremental.

Jak działa

  1. Method
  2. Boundaries
Sekcje z nagłówków SKILL.md, w oryginale · 55 linii, 394 słów
Podgląd SKILL.md
---
name: incremental-processing
description: Process only new and changed data with watermarks, merge strategies, and a full-refresh escape hatch. Use when full-table rebuilds get slow or costly and models must go incremental.
---

# Incremental processing

Incremental means trading rebuild simplicity for delta bookkeeping.
The bookkeeping has exactly three parts: how you detect new data, how
you merge it, and how you recover when either is wrong.

## Method

1. **Go incremental at measured pain, not by default.** Full rebuilds
   are self-healing (every run fixes everything); switch a model only
   when its build time or cost crosses your threshold. Small
   dimensions stay full-refresh forever; giant fact and event tables
   are the incremental candidates.
2. **Detect deltas with a trustworthy cursor.** Options in order of
   reliability: CDC streams (see change-data-capture), append-only
   event time with a high-watermark, `updated_at` columns (only if
   the source actually maintains them: verify, do not assume), else
   snapshot-diff. Persist the watermark transactionally with the
   run's success so a crashed run resumes, not skips.
3. **Overlap the watermark for late data.** Reprocess a trailing
   window (`WHERE event_time > watermark - interval 'N days'`) sized
   from measured late-arrival distribution (see data-pipeline-design
   late-data policy). The merge makes the overlap idempotent; the
   window makes lateness harmless.
4. **Choose the merge by key behavior.** Append-only (immutable
   events): insert new partitions, cheapest. Upsert/MERGE on unique
   keys (mutable entities): handles updates, needs the key to truly
   be unique. Delete+insert by partition: when updates cluster in
   recent partitions. Deletes at the source need CDC or soft-delete
   flags; diff-based delete detection at scale is a full scan in
   disguise.
5. **Keep the full-refresh lever oiled.** Every incremental model
   must support a forced full rebuild from raw (schema change, logic
   change, corruption); test it quarterly on the big tables, know
   its cost and duration. An incremental model without a working
   full-refresh is one bug away from permanent drift.
6. **Audit for drift on a schedule.** Periodic reconciliation between
   incremental output and a sampled fresh computation (counts, sums
   by partition; see data-quality-checks); silent drift from missed
   deltas is incremental processing's signature failure and it never
   announces itself.

## Boundaries

- Non-additive transformations (window functions over all history,
  global dedup) resist partition-local incrementality; restructure
  the model or accept periodic full rebuilds for those layers.
- Streaming incremental (continuous) shares the watermark/merge logic
  with tighter latency and its own engine semantics (see
  batch-vs-streaming); do not hand-build streaming on cron.
- Late data beyond your overlap window is a product decision
  (restate history or ignore), not an engineering one; get it in
  writing (see data-retention for restatement policy adjacency).

Wersje

W bazie nie ma innych skilli o nazwie incremental-processing.

Migawka bazy z 13.11.2026 · wersja paczki 82e24034b88a (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100developing-incremental-models
    Rozwija i diagnozuje przyrostowe modele dbt: wybór strategii, unique_key i partycji, błędy merge, przycinanie partycji, schema drift i wydajność.
  • 100incremental-load-setup
    Pomaga skonfigurować ładowanie przyrostowe w potokach danych, gdy ktoś prosi o incremental load setup.
  • 90cdc-and-incremental-loading
    Prowadzi agentów przez projekt change data capture i ładowań przyrostowych: watermarki, upserty, deduplikację, merge, spóźnione dane i powtarzalne potoki.
  • 100aidp-fusion-incremental
    Uruchamia strzeżone przyrostowe odświeżenia Fusion z kontrolą dryfu, znaczników, hasha planu i warunków wstępnych: dzienne delty, odświeżenia zakresowe, wznowienia i awarie.
  • 100aidp-fusion-incremental
    Zamienia opis odświeżenia w języku naturalnym w strzeżone aidp-fusion-autopilot run --mode incremental (dzienne scalanie delt) z kontrolą dryfu PVO i bronze, kursora znacznika i hasha planu.
  • 95tuning-incremental-sync-config
    Zmienia konfigurację synchronizacji istniejącej tabeli w hurtowni: tryb, pole przyrostowe, klucze główne, CDC i częstotliwość.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.