Przejdź do treści
Biblioteka skilli
Dane i analityka · Budowanie i kod

data-engineering

/data-engineering

Obsługuje inżynierię danych: Airflow, Dagster, Kafka Streams, Flink, dbt, potoki danych, przetwarzanie strumieniowe i jakość danych.

Repozytorium
ccg-workflow ↗
Licencja
MIT
Ostatnia zmiana repozytorium
21.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 21.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Obsługuje inżynierię danych: Airflow, Dagster, Kafka Streams, Flink, dbt, potoki danych, przetwarzanie strumieniowe i jakość danych.

Oryginalny opis (EN)

数据工程。Airflow、Dagster、Kafka Streams、Flink、dbt、数据管道、流处理、数据质量。当用户提到数据管道、ETL、流处理、数据质量时路由到此。

Jak działa

  1. 域概览
  2. 数据管道编排
  3. 流式处理
  4. 数据质量
  5. 最佳实践
  6. 触发词
Sekcje z nagłówków SKILL.md, w oryginale · 201 linii, 796 słów
Podgląd SKILL.md
---
name: data-engineering
description: 数据工程。Airflow、Dagster、Kafka Streams、Flink、dbt、数据管道、流处理、数据质量。当用户提到数据管道、ETL、流处理、数据质量时路由到此。
license: MIT
user-invocable: false
disable-model-invocation: false
---

# 数据工程域 · Data Engineering

## 域概览

数据工程域涵盖数据管道编排、流式处理、数据质量保障三大核心领域。

```
数据管道层                流处理层              质量保障层
├── Airflow (调度编排)    ├── Kafka Streams     ├── Great Expectations
├── Dagster (资产管理)    ├── Flink             ├── dbt
└── Prefect (现代工作流)  └── Spark Streaming   └── Soda Core
```

---

## 数据管道编排

### 框架对比

| 特性 | Airflow | Dagster | Prefect |
|------|---------|---------|---------|
| 核心模型 | DAG + Task | Asset + Op | Flow + Task |
| 学习曲线 | 陡峭 | 中等 | 平缓 |
| 资产管理 | 无 | 原生支持 | 无 |
| 动态任务 | 支持 | 支持 | 支持 |
| 本地开发 | 复杂 | 简单 | 简单 |
| 社区生态 | 最大 | 成长中 | 成长中 |

### Airflow 核心模式

- DAG 定义:`with DAG(dag_id, schedule, default_args) as dag`
- TaskFlow API:`@task` 装饰器,自动 XCom 传递
- 动态任务:`@task` + `.expand()` 实现 dynamic task mapping
- Operators:PythonOperator / BashOperator / SQL / HTTP / S3
- Sensors:FileSensor / HttpSensor / ExternalTaskSensor
- 重试策略:`retries=3, retry_delay=timedelta(minutes=5), retry_exponential_backoff=True`
- 失败回调:`on_failure_callback` 发送告警
- SLA 监控:`sla=timedelta(hours=2)` + `sla_miss_callback`

### Dagster 核心模式

- Asset 定义:`@asset(group_name, deps)` 声明数据资产
- MaterializeResult:返回元数据(行数、预览等)
- Resources:`ConfigurableResource` 管理外部连接
- Jobs:`define_asset_job(selection=AssetSelection.groups(...))`
- Schedules:`ScheduleDefinition(job, cron_schedule)`
- Sensors:`@sensor(job)` 监听外部事件触发
- Partitions:`DailyPartitionsDefinition` 按日分区
- Asset Checks:`@asset_check` 验证数据新鲜度/质量

### Prefect 核心模式

- Flow/Task:`@flow` + `@task(retries=3, cache_key_fn=task_input_hash)`
- 并发:`ConcurrentTaskRunner` + `task.map(items)`
- Deployments:`Deployment.build_from_flow(schedule=CronSchedule(...))`
- Blocks:`Secret` / `JSON` 管理配置和密钥

### 调度策略 Checklist

- [ ] Cron 表达式正确(`0 2 * * *` 日批 / `*/15 * * * *` 实时)
- [ ] 事件驱动:文件到达 / S3 / API 触发
- [ ] 跨 DAG 依赖:ExternalTaskSensor / Asset deps
- [ ] 幂等性:UPSERT / 分区覆盖写入
- [ ] 增量处理:`WHERE updated_at > last_run`
- [ ] 数据血缘:Dagster 原生 / Airflow Lineage / dbt ref()

---

## 流式处理

### 框架对比

| 特性 | Kafka Streams | Flink | Spark Streaming |
|------|---------------|-------|-----------------|
| 部署模式 | 嵌入式(JVM) | 独立集群 | 独立集群 |
| 状态管理 | RocksDB | 内存/RocksDB | 内存 |
| Exactly-Once | 支持 | 支持 | 支持 |
| 窗口类型 | 丰富 | 最丰富 | 基础 |
| 学习曲线 | 平缓 | 陡峭 | 中等 |
| Python API | kafka-python | PyFlink | PySpark |

### Kafka Streams 核心模式

- 拓扑构建:`StreamsBuilder` → `stream()` → `filter/map/flatMap` → `to()`
- 聚合:`groupByKey().count()` / `.aggregate()` / `.reduce()`
- Join:Stream-Stream(时间窗口)/ Stream-Table / Table-Table
- 状态存储:`Stores.persistentKeyValueStore` + Transformer
- Exactly-Once:`PROCESSING_GUARANTEE_CONFIG = EXACTLY_ONCE_V2`
- 性能调优:`NUM_STREAM_THREADS=4` / `CACHE_MAX_BYTES_BUFFERING` / RocksDB 配置

### Flink 核心模式

- DataStream API:`env.addSource()` → `filter/map` → `addSink()`
- 窗口类型:
  - 滚动窗口 `TumblingProcessingTimeWindows.of(Time.minutes(5))`
  - 滑动窗口 `SlidingProcessingTimeWindows.of(size, slide)`
  - 会话窗口 `ProcessingTimeSessionWindows.withGap(gap)`
  - 全局窗口 `GlobalWindows.create()` + 自定义 Trigger
- 窗口聚合:`aggregate(AggregateFunction, WindowFunction)` 增量+全窗口
- ProcessFunction:低级 API,访问时间戳、注册定时器
- 状态管理:ValueState / ListState / MapState + TTL 清理
- Checkpoint:`env.enableCheckpointing(60000)` + EXACTLY_ONCE
- Savepoint:`flink run -s /path/to/savepoint`
- 时间语义:Event Time + Watermark(`forBoundedOutOfOrderness`)
- 延迟数据:`allowedLateness()` + `sideOutputLateData()`
- 数据倾斜:添加随机前缀打散 key

### 流处理 Checklist

- [ ] 选择时间语义:Event Time vs Processing Time
- [ ] Watermark 策略:乱序容忍度设置
- [ ] 窗口类型匹配业务场景
- [ ] 状态 TTL 防止无限增长
- [ ] Checkpoint 间隔和超时配置
- [ ] Exactly-Once 语义端到端保证
- [ ] 背压监控和处理
- [ ] 并行度调优

---

## 数据质量

### 质量维度

```
完整性(非空) → 准确性(范围) → 一致性(关联) → 及时性(新鲜度) → 有效性(格式)
```

### 工具对比

| 工具 | 优势 | 适用场景 |
|------|------|----------|
| Great Expectations | 丰富 Expectations、Data Docs | Python 生态、复杂验证 |
| dbt | SQL 原生、血缘追踪 | 数据仓库、转换测试 |
| Soda Core | 简洁 YAML 配置 | 快速验证、CI/CD |

### Great Expectations 核心模式

- Data Context:`gx.get_context()` → 添加数据源 → 构建批次
- 常用 Expectations:
  - `expect_table_row_count_to_be_between(min, max)`
  - `expect_column_values_to_not_be_null(column)`
  - `expect_column_values_to_be_unique(column)`
  - `expect_column_values_to_be_between(column, min, max)`
  - `expect_column_values_to_be_in_set(column, value_set)`
  - `expect_column_values_to_match_regex(column, regex)`
- Checkpoints:批量运行验证 + 生成 Data Docs
- 自定义 Expectation:继承 `ColumnMapExpectation`

### dbt 测试核心模式

- Schema 测试:`unique` / `not_null` / `accepted_values` / `relationships`
- Generic 测试:`{% test name(model, column_name, params) %}`
- Singular 测试:`tests/` 目录下自定义 SQL,返回行 = 失败
- dbt_expectations 包:`expect_column_mean_to_be_between` / `expect_row_values_to_have_recent_data`
- 执行:`dbt test` / `dbt test --select model` / `dbt test --store-failures`
- 血缘:`{{ ref('model') }}` + `{{ source('schema', 'table') }}` → `dbt docs generate`

### Soda Core 核心模式

```yaml
checks for table_name:
  - row_count > 100
  - missing_count(column) = 0
  - duplicate_count(column) = 0
  - invalid_count(column) = 0:
      valid format: email
  - freshness(timestamp_col) < 1d
```

### 数据质量 Checklist

- [ ] 分层验证:源数据 → 转换后 → 目标数据
- [ ] 完整性:必需列非空、无空字符串
- [ ] 准确性:数值范围、格式正则、逻辑一致
- [ ] 一致性:跨表主键匹配、值一致
- [ ] 及时性:数据新鲜度 < 阈值
- [ ] 唯一性:主键/业务键无重复
- [ ] 质量指标:完整性/唯一性/有效性加权评分
- [ ] 告警:指标低于阈值自动通知(Slack/Email/PagerDuty)
- [ ] 持续监控:定时执行质量检查

---

## 最佳实践

| 实践 | 说明 |
|------|------|
| 幂等性设计 | UPSERT / 分区覆盖,重跑不产生副作用 |
| 增量处理 | 基于时间戳/CDC 增量提取,减少全量扫描 |
| 数据血缘 | dbt ref() / Dagster Asset deps 追踪上下游 |
| 分层验证 | 源→转换→目标每层都验证 |
| 监控告警 | 管道 SLA + 质量指标 + 延迟告警 |
| 状态管理 | 流处理状态 TTL + Checkpoint + Savepoint |
| 容错设计 | 重试策略 + 死信队列 + 回滚方案 |

## 触发词

数据管道、Airflow、Dagster、Prefect、ETL、流处理、Kafka Streams、Flink、数据质量、Great Expectations、dbt、数据验证、数据血缘

Wersje

RepozytoriumWynikLicencja
Ta strona · fengshao1227/ccg-workflow100MIT
travisjneuman/.claude100MIT
mhingan/agent-forge100MIT
albkue/my-skill100MIT
borhen68/skillengine100MIT
swap-cameroon/kuro-antigravity-config90MIT
andreibesleaga/gabbe90CC-BY-4.0
cbrock84/headcount90MIT
magnus919/agent-skills85MIT

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki 7127660e6797 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90data-engineer
    Projektuje i buduje potoki danych: ETL i ELT, transformacje dbt, hurtownie i lakehouse (BigQuery, Snowflake, DuckDB, Postgres), streaming (Kafka, Flink), orkiestrację (Airflow, Dagster) i jakość danych.
  • 90Data Engineering
    Projektuje i buduje platformy danych: strumienie Kafka, orkiestrację w Airflow lub Dagster, zadania Spark, modelowanie i jakość danych.
  • 90data-etl-pipeline
    Projektuje pipeline ETL w Airflow i dbt z obsługą błędów, walidacją danych i obserwowalnością procesów.
  • 100senior-data-engineer
    Buduje pipeline'y wsadowe i strumieniowe w Airflow, dbt, Spark i Kafka: architektury danych, kontrole jakości, optymalizacja ETL i ELT oraz diagnostyka awarii.
  • 100agent-data-engineer
    Wspiera potoki ETL, hurtownie danych, przetwarzanie strumieniowe i infrastrukturę danych, np. BigQuery, Snowflake, Redshift, Kafka, Airflow i dbt.
  • 90scala-data-engineering-on-jvm-runtimes
    Prowadzi przez inżynierię danych w Scali na JVM: zadania Spark, Flink i Kafka Streams z jawną dyscypliną budowania, pakowania, typów i runtime.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.