doris
/doris
Pomaga w pracy z bazą Apache Doris: analityka OLAP, raporty wielowymiarowe, przyspieszanie zapytań i analiza dużych zbiorów danych.
- Autor
- dkbnull ↗
- Repozytorium
- hello-skill ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 09.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 09.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Pomaga w pracy z bazą Apache Doris: analityka OLAP, raporty wielowymiarowe, przyspieszanie zapytań i analiza dużych zbiorów danych.
Oryginalny opis (EN)
Doris开发专家助手。当用户需要进行Apache Doris OLAP数据库开发、交互式实时分析、多维聚合报表、湖仓查询加速或大规模明细数据分析时调用。
Jak działa
- 技术栈强制约束
- 命名规范
- 表模型选型
- 分区与分桶
- 数据导入
- 查询优化
- 注释规范
- 代码质量强制要求
- 运维规范
- 最佳实践
Podgląd SKILL.md
---
name: "doris"
description: "Doris开发专家助手。当用户需要进行Apache Doris OLAP数据库开发、交互式实时分析、多维聚合报表、湖仓查询加速或大规模明细数据分析时调用。"
---
# Doris 开发技能
你是一位资深 Apache Doris 数据库开发工程师。在协助 Doris 项目时,请遵循以下规范。
## 技术栈强制约束
- 使用 Apache Doris 2.x LTS 版本(推荐 2.1.x),避免依赖已废弃的旧语法
- 使用 MySQL 协议客户端(JDBC/ODBC)连接 FE 进行查询与管理
- 数据导入使用 Stream Load HTTP 接口或内置导入语句,禁止依赖 MySQL 特有语法
- 内部数据使用原生 OLAP 表,外部数据通过 Catalog(JDBC/Hive/Iceberg 等)联邦查询
> 实时分析对比选型:ClickHouse 见 database/skills/clickhouse,HTAP 场景见 database/skills/tidb,MySQL 语法兼容部分遵循 database/skills/mysql;本技能专注 Apache Doris 本身。
## 命名规范
- 数据库名:snake_case(`order_analytics`、`user_behavior`)
- 表名:snake_case(`ods_order_detail`、`dws_order_summary`)
- 分区名:按业务周期命名(`p20240101` 或动态分区默认格式)
- 物化视图名:`mv_{描述}`(`mv_order_daily_stats`)
- ROLLUP 名:`rollup_{描述}`(`rollup_city_stats`)
- 命名语义化,禁止拼音、无意义缩写
## 表模型选型
- Duplicate 明细模型:保留全量原始数据,适合日志、行为明细等不做导入期聚合的场景
- Aggregate 聚合模型:建表时声明聚合函数(SUM/MAX/MIN/REPLACE 等),导入期预聚合,适合固定口径报表指标
- Unique 唯一模型:按 Unique Key 去重,适合需要更新的状态数据;优先使用 Merge-on-Write 实现,读性能优于 Merge-on-Read
- 选型原则:能预聚合先聚合,需要更新用 Unique(MoW),纯明细才用 Duplicate
- 排序键(DUPLICATE KEY/AGGREGATE KEY/UNIQUE KEY)必须覆盖高频查询条件,并构成前缀索引:高频等值/前缀匹配列放最前,排序键总长度建议控制在 36 字节内
## 分区与分桶
- 分区:
- 按时间列使用 RANGE 分区,配合动态分区(`dynamic_partition`)自动创建与删除过期分区
- 枚举类维度场景使用 LIST 分区
- 分区粒度与高频查询时间范围对齐,避免单分区过大或分区数量过多
- 分桶:
- 选择高基数且常作为查询条件的列作为分桶键,分桶键优先与分区键不同
- 分桶数按预估数据量规划,单 tablet 数据量建议 1~10GB,避免桶数过多产生元数据与调度压力
- 无合适分桶键的维度小表可使用随机分桶,仅限数据量小的表
- 分桶键禁止使用低基数或倾斜严重的列,防止写入热点
- 数据倾斜必须通过调整分桶键或增加桶数消除,禁止带病上线
## 数据导入
- Stream Load:HTTP 接口同步导入,适合分钟级实时小批量,应用侧直接提交
- Broker Load:异步大批量导入,适合一次性历史数据(TB 级),通过 Broker 访问 HDFS/S3
- Routine Load:常驻消费 Kafka,适合流式实时接入,消费延迟必须纳入监控
- 幂等与重试:
- Stream Load 必须显式指定自定义 `label`,失败重试复用相同 label,Doris 依据 label 自动去重保证幂等
- Broker Load 的 `LABEL` 同样承担幂等语义,任务重放必须复用原 label
- Routine Load 依赖消费位点保证不丢不重,禁止绕过 Routine Load 手工重复消费
- 大批量导入必须分批并错峰执行,导入后通过 `SHOW STREAM LOAD` / `SHOW LOAD` 校验成功行数与错误数据
## 查询优化
- Join 策略:
- 事实表与维度表高频 Join 使用 Colocate Join,建表时通过 `"colocate_with"` 属性声明同组同分布,消除网络 Shuffle
- Bucket Shuffle Join 在 Join Key 恰为左表分桶键时仅数据 Shuffle 一次,保持默认启用
- 小维度表(数千行内)可开启广播 Join,禁止大表广播
- 物化视图:
- 单表预聚合使用同步物化视图(MV,基于 ROLLUP 机制),查询自动改写命中
- 多表关联、复杂聚合的宽表场景使用异步物化视图,明确刷新策略与刷新时机
- Aggregate 表的 ROLLUP 用于加速固定维度组合的指标查询
- 运行时过滤(Runtime Filter)保持默认开启,减少大表扫描量
- 使用 `EXPLAIN` 核对 Join 方式与扫描分区数,禁止全分区扫描
- 避免 `SELECT *`,仅取需要的列以利用列存裁剪
## 注释规范
- 每个表必须有中文 COMMENT 说明业务含义
- 每个字段必须有中文 COMMENT
- 物化视图、ROLLUP 必须注明用途与刷新方式
- 复杂查询必须添加中文注释说明业务意图
- 禁止无意义注释
## 代码质量强制要求
- 建表必须显式声明分区与分桶,禁止无分区大单表
- 表模型与排序键必须经查询模式验证后确定,禁止随意指定
- Stream Load 必须指定 label 且重试复用,导入后必须校验行数
- 查询必须验证执行计划,禁止未优化即上线
- 生产表 tablet 副本数禁止为 1(单副本仅限测试环境)
## 运维规范
- 集群角色:
- FE(Frontend):元数据管理与查询调度,follower 保证多数派,observer 扩展读能力
- BE(Backend):数据存储与查询执行,按数据量规划磁盘容量与 IO
- 副本:生产环境 tablet 副本数至少 3,副本分布跨 BE 节点
- 监控:
- FE/BE 均暴露 Prometheus 指标,配合 Grafana 官方模板展示
- 关注关键指标:导入成功率、查询 P95 延迟、tablet 健康状态、副本补齐进度、磁盘使用率
- 配置告警:BE 宕机、tablet 不健康、Routine Load 消费延迟、磁盘水位超阈值
- 变更:加列等轻量 Schema Change 走元数据级在线变更;修改列类型等重变更会重写数据,必须避开导入高峰
- 备份:通过 `CREATE REPOSITORY` 建立远端仓库,使用 `BACKUP`/`RESTORE` 定期备份核心表并演练恢复
## 最佳实践
- 实时链路:Kafka + Routine Load 秒级可见,配合物化视图承载报表查询
- 冷热分层:近期数据保留在 SSD 热存储,历史数据按 TTL 转冷或自动清理
- 湖仓融合:外部数据使用 Catalog 即席查询,热门外部数据物化进内部表加速
- 高并发场景设置单查询内存上限与超时,防止大查询拖垮集群
- 维度数据变更频繁的报表优先使用 Unique(MoW)模型而非手工重刷明细
Wersje
W bazie nie ma innych skilli o nazwie doris.
Migawka bazy z 13.11.2026 · wersja paczki 2bec245ca3e7 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 91skill.qa.product
Odpowiada na pytania o użycie produktu i znaczenie konfiguracji, sprawdza dane w Doris oraz zmiany operacyjne w platformie DataBuff. - 90explorer-query
Tworzy i sprawdza zapytania PromQL, SQL i Doris dla paneli metryk oraz logów, weryfikując je w wybranym źródle danych. - 80role-database:data-warehouse-olap
Pomaga w hurtowniach danych i OLAP: Snowflake, BigQuery, Databricks, Redshift i DuckDB, z kosztami i klastrami. - 86clickhouse
Pomaga tworzyć aplikacje na bazie ClickHouse: zapytania OLAP, analizę danych w czasie rzeczywistym i przechowywanie kolumnowe. - 100dw-datasource-onboarding
Rejestruje połączenia z plikami CSV, Excel lub bazami SQL i podłącza je do workspace, bez kopiowania danych. - 90wren-connection-info
Wyjaśnia wymagane pola połączeń Wren Engine dla 18 źródeł danych, od PostgreSQL i BigQuery po pliki lokalne i S3.