data-intensive
/data-intensive
Doradza w architekturze platform danych: hurtownia czy lakehouse, OLTP czy OLAP, batch czy streaming (lambda i kappa), change data capture i data mesh, na poziomie decyzji architekta.
- Autor
- claude-dev-suite ↗
- Repozytorium
- claude-dev-suite ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 21.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 21.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Doradza w architekturze platform danych: hurtownia czy lakehouse, OLTP czy OLAP, batch czy streaming (lambda i kappa), change data capture i data mesh, na poziomie decyzji architekta.
Wyzwalacze z opisu
Oryginalny opis (EN)
Data-intensive / data-platform architecture: warehouse vs lakehouse, OLTP vs OLAP, batch vs streaming (lambda/kappa), change-data-capture, and data mesh. Architect-level platform-shape decisions, not SQL or ETL code. USE WHEN: designing a data platform/pipeline architecture, "data warehouse", "lakehouse", "OLAP vs OLTP", "lambda/kappa", "streaming vs batch", "CDC", "data mesh", "medallion", analytics platform, columnar store, ingestion topology. DO NOT USE FOR: writing SQL/ORM (use database skills); a specific ETL tool (use data/data-processing skills); storage-engine internals (use `storage-e
Jak działa
- OLTP vs OLAP — separate the workloads
- Storage architecture choice
- Batch vs streaming topology
- Modeling & ownership
- When to recommend what
Podgląd SKILL.md
--- name: data-intensive description: | Data-intensive / data-platform architecture: warehouse vs lakehouse, OLTP vs OLAP, batch vs streaming (lambda/kappa), change-data-capture, and data mesh. Architect-level platform-shape decisions, not SQL or ETL code. USE WHEN: designing a data platform/pipeline architecture, "data warehouse", "lakehouse", "OLAP vs OLTP", "lambda/kappa", "streaming vs batch", "CDC", "data mesh", "medallion", analytics platform, columnar store, ingestion topology. DO NOT USE FOR: writing SQL/ORM (use database skills); a specific ETL tool (use data/data-processing skills); storage-engine internals (use `storage-engines`). allowed-tools: Read, Grep, Glob --- # Data-Intensive Architecture ## OLTP vs OLAP — separate the workloads - **OLTP**: many small row-oriented transactions, low latency, normalized. - **OLAP**: few large column-oriented scans/aggregations, throughput-oriented. Don't run heavy analytics on the OLTP store — replicate/ETL/CDC into an analytics store. Columnar formats (Parquet/ORC) + columnar engines win OLAP. ## Storage architecture choice | Option | Idea | Fits | |---|---|---| | **Warehouse** (Snowflake, BigQuery, Redshift) | Managed columnar SQL store | Structured BI, governance, SQL-first | | **Data lake** (object storage + files) | Cheap, schema-on-read, any format | Raw/varied data, ML feature sources | | **Lakehouse** (Delta/Iceberg/Hudi on object storage) | Lake economics + ACID tables + time travel | Unified BI + ML, open formats, avoids lock-in | Lakehouse (open table formats) is the common 2026 default when you want one copy of data serving both BI and ML without warehouse lock-in. ## Batch vs streaming topology - **Batch**: periodic, simple, high-latency. **Streaming** (Kafka/Flink): continuous, low-latency, more complex (exactly-once, watermarks, state). - **Lambda**: batch layer (accurate) + speed layer (fresh) merged — two codebases, complexity. **Kappa**: stream-only, reprocess from the log — simpler; prefer it unless you truly need a separate batch layer. - **CDC** (Debezium): stream row changes out of OLTP without dual-writes — the clean way to feed lake/warehouse/search in near-real-time. ## Modeling & ownership - **Medallion** (bronze/silver/gold) layering for lake/lakehouse refinement. - **Data mesh**: domain-owned data products + federated governance — organizational, for large orgs; overkill for small teams (start centralized). ## When to recommend what - BI on structured data, SQL team → warehouse (or lakehouse w/ SQL engine). - Mixed BI + ML, open formats, scale → lakehouse (Iceberg/Delta) + Kappa + CDC. - Real-time decisions → streaming (Kafka + Flink), exactly-once where it matters. - Don't reach for data mesh until org scale forces decentralization.
Wersje
W bazie nie ma innych skilli o nazwie data-intensive.
Migawka bazy z 13.11.2026 · wersja paczki b3706282d516 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100sql-pro
Pomaga w strojeniu wydajności baz OLTP i OLAP, modelowaniu danych i złożonych analizach w SQL. - 100data-architect
Projektuje architekturę danych na poziomie przedsiębiorstwa i rozwiązania: data mesh, lakehouse, governance, modelowanie danych, wybór platformy oraz ADR-y, diagramy i polityki. - 90data-data-platform
Projektuje platformę danych od początku do końca: magazyn, obliczenia, katalog, granice data mesh i wersjonowanie. - 100sota-data-engineering
Podaje zasady budowy i audytu pipeline'ów danych: ELT, lakehouse, modele wymiarowe, idempotentność, backfille, dbt, streaming Kafka, CDC i jakość danych. - 90data-engineering-guide
Podpowiada rozwiązania inżynierii danych: pipeline'y, schematy, jakość danych, SQL, lakehouse i przetwarzanie strumieniowe. - 100gcp-data-engineering
Doradza w architekturze potoków danych w Google Cloud: jezioro, hurtownia i lakehouse, batch czy streaming, dobór Dataform, Composer lub Dataflow oraz koszty i wydajność BigQuery (partycjonowanie, klastrowanie, sloty).