Przejdź do treści
Biblioteka skilli
Dane i analityka · Budowanie i kod

doris

/doris

Pomaga w pracy z bazą Apache Doris: analityka OLAP, raporty wielowymiarowe, przyspieszanie zapytań i analiza dużych zbiorów danych.

Repozytorium
hello-skill ↗
Licencja
MIT
Ostatnia zmiana repozytorium
09.11.2026

Ocena i bezpieczeństwo

86/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność21 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 09.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Pomaga w pracy z bazą Apache Doris: analityka OLAP, raporty wielowymiarowe, przyspieszanie zapytań i analiza dużych zbiorów danych.

Oryginalny opis (EN)

Doris开发专家助手。当用户需要进行Apache Doris OLAP数据库开发、交互式实时分析、多维聚合报表、湖仓查询加速或大规模明细数据分析时调用。

Jak działa

  1. 技术栈强制约束
  2. 命名规范
  3. 表模型选型
  4. 分区与分桶
  5. 数据导入
  6. 查询优化
  7. 注释规范
  8. 代码质量强制要求
  9. 运维规范
  10. 最佳实践
Sekcje z nagłówków SKILL.md, w oryginale · 106 linii, 336 słów
Podgląd SKILL.md
---
name: "doris"
description: "Doris开发专家助手。当用户需要进行Apache Doris OLAP数据库开发、交互式实时分析、多维聚合报表、湖仓查询加速或大规模明细数据分析时调用。"
---

# Doris 开发技能

你是一位资深 Apache Doris 数据库开发工程师。在协助 Doris 项目时,请遵循以下规范。

## 技术栈强制约束

- 使用 Apache Doris 2.x LTS 版本(推荐 2.1.x),避免依赖已废弃的旧语法
- 使用 MySQL 协议客户端(JDBC/ODBC)连接 FE 进行查询与管理
- 数据导入使用 Stream Load HTTP 接口或内置导入语句,禁止依赖 MySQL 特有语法
- 内部数据使用原生 OLAP 表,外部数据通过 Catalog(JDBC/Hive/Iceberg 等)联邦查询

> 实时分析对比选型:ClickHouse 见 database/skills/clickhouse,HTAP 场景见 database/skills/tidb,MySQL 语法兼容部分遵循 database/skills/mysql;本技能专注 Apache Doris 本身。

## 命名规范

- 数据库名:snake_case(`order_analytics`、`user_behavior`)
- 表名:snake_case(`ods_order_detail`、`dws_order_summary`)
- 分区名:按业务周期命名(`p20240101` 或动态分区默认格式)
- 物化视图名:`mv_{描述}`(`mv_order_daily_stats`)
- ROLLUP 名:`rollup_{描述}`(`rollup_city_stats`)
- 命名语义化,禁止拼音、无意义缩写

## 表模型选型

- Duplicate 明细模型:保留全量原始数据,适合日志、行为明细等不做导入期聚合的场景
- Aggregate 聚合模型:建表时声明聚合函数(SUM/MAX/MIN/REPLACE 等),导入期预聚合,适合固定口径报表指标
- Unique 唯一模型:按 Unique Key 去重,适合需要更新的状态数据;优先使用 Merge-on-Write 实现,读性能优于 Merge-on-Read
- 选型原则:能预聚合先聚合,需要更新用 Unique(MoW),纯明细才用 Duplicate
- 排序键(DUPLICATE KEY/AGGREGATE KEY/UNIQUE KEY)必须覆盖高频查询条件,并构成前缀索引:高频等值/前缀匹配列放最前,排序键总长度建议控制在 36 字节内

## 分区与分桶

- 分区:
  - 按时间列使用 RANGE 分区,配合动态分区(`dynamic_partition`)自动创建与删除过期分区
  - 枚举类维度场景使用 LIST 分区
  - 分区粒度与高频查询时间范围对齐,避免单分区过大或分区数量过多
- 分桶:
  - 选择高基数且常作为查询条件的列作为分桶键,分桶键优先与分区键不同
  - 分桶数按预估数据量规划,单 tablet 数据量建议 1~10GB,避免桶数过多产生元数据与调度压力
  - 无合适分桶键的维度小表可使用随机分桶,仅限数据量小的表
  - 分桶键禁止使用低基数或倾斜严重的列,防止写入热点
- 数据倾斜必须通过调整分桶键或增加桶数消除,禁止带病上线

## 数据导入

- Stream Load:HTTP 接口同步导入,适合分钟级实时小批量,应用侧直接提交
- Broker Load:异步大批量导入,适合一次性历史数据(TB 级),通过 Broker 访问 HDFS/S3
- Routine Load:常驻消费 Kafka,适合流式实时接入,消费延迟必须纳入监控
- 幂等与重试:
  - Stream Load 必须显式指定自定义 `label`,失败重试复用相同 label,Doris 依据 label 自动去重保证幂等
  - Broker Load 的 `LABEL` 同样承担幂等语义,任务重放必须复用原 label
  - Routine Load 依赖消费位点保证不丢不重,禁止绕过 Routine Load 手工重复消费
- 大批量导入必须分批并错峰执行,导入后通过 `SHOW STREAM LOAD` / `SHOW LOAD` 校验成功行数与错误数据

## 查询优化

- Join 策略:
  - 事实表与维度表高频 Join 使用 Colocate Join,建表时通过 `"colocate_with"` 属性声明同组同分布,消除网络 Shuffle
  - Bucket Shuffle Join 在 Join Key 恰为左表分桶键时仅数据 Shuffle 一次,保持默认启用
  - 小维度表(数千行内)可开启广播 Join,禁止大表广播
- 物化视图:
  - 单表预聚合使用同步物化视图(MV,基于 ROLLUP 机制),查询自动改写命中
  - 多表关联、复杂聚合的宽表场景使用异步物化视图,明确刷新策略与刷新时机
  - Aggregate 表的 ROLLUP 用于加速固定维度组合的指标查询
- 运行时过滤(Runtime Filter)保持默认开启,减少大表扫描量
- 使用 `EXPLAIN` 核对 Join 方式与扫描分区数,禁止全分区扫描
- 避免 `SELECT *`,仅取需要的列以利用列存裁剪

## 注释规范

- 每个表必须有中文 COMMENT 说明业务含义
- 每个字段必须有中文 COMMENT
- 物化视图、ROLLUP 必须注明用途与刷新方式
- 复杂查询必须添加中文注释说明业务意图
- 禁止无意义注释

## 代码质量强制要求

- 建表必须显式声明分区与分桶,禁止无分区大单表
- 表模型与排序键必须经查询模式验证后确定,禁止随意指定
- Stream Load 必须指定 label 且重试复用,导入后必须校验行数
- 查询必须验证执行计划,禁止未优化即上线
- 生产表 tablet 副本数禁止为 1(单副本仅限测试环境)

## 运维规范

- 集群角色:
  - FE(Frontend):元数据管理与查询调度,follower 保证多数派,observer 扩展读能力
  - BE(Backend):数据存储与查询执行,按数据量规划磁盘容量与 IO
- 副本:生产环境 tablet 副本数至少 3,副本分布跨 BE 节点
- 监控:
  - FE/BE 均暴露 Prometheus 指标,配合 Grafana 官方模板展示
  - 关注关键指标:导入成功率、查询 P95 延迟、tablet 健康状态、副本补齐进度、磁盘使用率
  - 配置告警:BE 宕机、tablet 不健康、Routine Load 消费延迟、磁盘水位超阈值
- 变更:加列等轻量 Schema Change 走元数据级在线变更;修改列类型等重变更会重写数据,必须避开导入高峰
- 备份:通过 `CREATE REPOSITORY` 建立远端仓库,使用 `BACKUP`/`RESTORE` 定期备份核心表并演练恢复

## 最佳实践

- 实时链路:Kafka + Routine Load 秒级可见,配合物化视图承载报表查询
- 冷热分层:近期数据保留在 SSD 热存储,历史数据按 TTL 转冷或自动清理
- 湖仓融合:外部数据使用 Catalog 即席查询,热门外部数据物化进内部表加速
- 高并发场景设置单查询内存上限与超时,防止大查询拖垮集群
- 维度数据变更频繁的报表优先使用 Unique(MoW)模型而非手工重刷明细

Wersje

W bazie nie ma innych skilli o nazwie doris.

Migawka bazy z 13.11.2026 · wersja paczki 2bec245ca3e7 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 91skill.qa.product
    Odpowiada na pytania o użycie produktu i znaczenie konfiguracji, sprawdza dane w Doris oraz zmiany operacyjne w platformie DataBuff.
  • 90explorer-query
    Tworzy i sprawdza zapytania PromQL, SQL i Doris dla paneli metryk oraz logów, weryfikując je w wybranym źródle danych.
  • 80role-database:data-warehouse-olap
    Pomaga w hurtowniach danych i OLAP: Snowflake, BigQuery, Databricks, Redshift i DuckDB, z kosztami i klastrami.
  • 86clickhouse
    Pomaga tworzyć aplikacje na bazie ClickHouse: zapytania OLAP, analizę danych w czasie rzeczywistym i przechowywanie kolumnowe.
  • 100dw-datasource-onboarding
    Rejestruje połączenia z plikami CSV, Excel lub bazami SQL i podłącza je do workspace, bez kopiowania danych.
  • 90wren-connection-info
    Wyjaśnia wymagane pola połączeń Wren Engine dla 18 źródeł danych, od PostgreSQL i BigQuery po pliki lokalne i S3.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.