Przejdź do treści
Biblioteka skilli
Dane i analityka · Planowanie

data-intensive

/data-intensive

Doradza w architekturze platform danych: hurtownia czy lakehouse, OLTP czy OLAP, batch czy streaming (lambda i kappa), change data capture i data mesh, na poziomie decyzji architekta.

Licencja
MIT
Ostatnia zmiana repozytorium
21.10.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 21.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Doradza w architekturze platform danych: hurtownia czy lakehouse, OLTP czy OLAP, batch czy streaming (lambda i kappa), change data capture i data mesh, na poziomie decyzji architekta.

Wyzwalacze z opisu

data warehouselakehouseOLAP vs OLTPlambda/kappastreaming vs batchCDCdata meshmedallion
Oryginalny opis (EN)

Data-intensive / data-platform architecture: warehouse vs lakehouse, OLTP vs OLAP, batch vs streaming (lambda/kappa), change-data-capture, and data mesh. Architect-level platform-shape decisions, not SQL or ETL code. USE WHEN: designing a data platform/pipeline architecture, "data warehouse", "lakehouse", "OLAP vs OLTP", "lambda/kappa", "streaming vs batch", "CDC", "data mesh", "medallion", analytics platform, columnar store, ingestion topology. DO NOT USE FOR: writing SQL/ORM (use database skills); a specific ETL tool (use data/data-processing skills); storage-engine internals (use `storage-e

Jak działa

  1. OLTP vs OLAP — separate the workloads
  2. Storage architecture choice
  3. Batch vs streaming topology
  4. Modeling & ownership
  5. When to recommend what
Sekcje z nagłówków SKILL.md, w oryginale · 38 linii, 304 słów
Podgląd SKILL.md
---
name: data-intensive
description: |
  Data-intensive / data-platform architecture: warehouse vs lakehouse, OLTP vs
  OLAP, batch vs streaming (lambda/kappa), change-data-capture, and data mesh.
  Architect-level platform-shape decisions, not SQL or ETL code.

  USE WHEN: designing a data platform/pipeline architecture, "data warehouse",
  "lakehouse", "OLAP vs OLTP", "lambda/kappa", "streaming vs batch", "CDC",
  "data mesh", "medallion", analytics platform, columnar store, ingestion topology.

  DO NOT USE FOR: writing SQL/ORM (use database skills); a specific ETL tool
  (use data/data-processing skills); storage-engine internals (use `storage-engines`).
allowed-tools: Read, Grep, Glob
---
# Data-Intensive Architecture

## OLTP vs OLAP — separate the workloads
- **OLTP**: many small row-oriented transactions, low latency, normalized.
- **OLAP**: few large column-oriented scans/aggregations, throughput-oriented.
Don't run heavy analytics on the OLTP store — replicate/ETL/CDC into an
analytics store. Columnar formats (Parquet/ORC) + columnar engines win OLAP.

## Storage architecture choice
| Option | Idea | Fits |
|---|---|---|
| **Warehouse** (Snowflake, BigQuery, Redshift) | Managed columnar SQL store | Structured BI, governance, SQL-first |
| **Data lake** (object storage + files) | Cheap, schema-on-read, any format | Raw/varied data, ML feature sources |
| **Lakehouse** (Delta/Iceberg/Hudi on object storage) | Lake economics + ACID tables + time travel | Unified BI + ML, open formats, avoids lock-in |

Lakehouse (open table formats) is the common 2026 default when you want one
copy of data serving both BI and ML without warehouse lock-in.

## Batch vs streaming topology
- **Batch**: periodic, simple, high-latency. **Streaming** (Kafka/Flink):
  continuous, low-latency, more complex (exactly-once, watermarks, state).
- **Lambda**: batch layer (accurate) + speed layer (fresh) merged — two
  codebases, complexity. **Kappa**: stream-only, reprocess from the log —
  simpler; prefer it unless you truly need a separate batch layer.
- **CDC** (Debezium): stream row changes out of OLTP without dual-writes — the
  clean way to feed lake/warehouse/search in near-real-time.

## Modeling & ownership
- **Medallion** (bronze/silver/gold) layering for lake/lakehouse refinement.
- **Data mesh**: domain-owned data products + federated governance —
  organizational, for large orgs; overkill for small teams (start centralized).

## When to recommend what
- BI on structured data, SQL team → warehouse (or lakehouse w/ SQL engine).
- Mixed BI + ML, open formats, scale → lakehouse (Iceberg/Delta) + Kappa + CDC.
- Real-time decisions → streaming (Kafka + Flink), exactly-once where it matters.
- Don't reach for data mesh until org scale forces decentralization.

Wersje

W bazie nie ma innych skilli o nazwie data-intensive.

Migawka bazy z 13.11.2026 · wersja paczki b3706282d516 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100sql-pro
    Pomaga w strojeniu wydajności baz OLTP i OLAP, modelowaniu danych i złożonych analizach w SQL.
  • 100data-architect
    Projektuje architekturę danych na poziomie przedsiębiorstwa i rozwiązania: data mesh, lakehouse, governance, modelowanie danych, wybór platformy oraz ADR-y, diagramy i polityki.
  • 90data-data-platform
    Projektuje platformę danych od początku do końca: magazyn, obliczenia, katalog, granice data mesh i wersjonowanie.
  • 100sota-data-engineering
    Podaje zasady budowy i audytu pipeline'ów danych: ELT, lakehouse, modele wymiarowe, idempotentność, backfille, dbt, streaming Kafka, CDC i jakość danych.
  • 90data-engineering-guide
    Podpowiada rozwiązania inżynierii danych: pipeline'y, schematy, jakość danych, SQL, lakehouse i przetwarzanie strumieniowe.
  • 100gcp-data-engineering
    Doradza w architekturze potoków danych w Google Cloud: jezioro, hurtownia i lakehouse, batch czy streaming, dobór Dataform, Composer lub Dataflow oraz koszty i wydajność BigQuery (partycjonowanie, klastrowanie, sloty).

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.