bt-datafeeds
/bt-datafeeds
Pobiera dzienne dane rynkowe, sprawdza ich jakość i zamienia tabele Markdown lub TSV na pliki CSV do backtestu.
- Autor
- newtonoooo ↗
- Repozytorium
- czl-experts ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 01.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 01.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Pobiera dzienne dane rynkowe, sprawdza ich jakość i zamienia tabele Markdown lub TSV na pliki CSV do backtestu.
Oryginalny opis (EN)
取日线数据并做数据体检。规定数据源优先级、代码写法、预热段延长规则、八项体检项、覆盖断言与数据清单格式,并把非标准格式(Markdown 表格、TSV)转换成回测内核要求的 CSV 契约。取数或换数据源时使用。
Jak działa
- 一、数据源优先级(严按顺序,不许跳)
- 二、取数的四个硬约束
- 三、八项体检(缺一项都不算体检过)
- 四、覆盖断言(多标的必做)
- 五、数据清单(datamanifest.json)
- 六、格式转换
- 七、退出条件
Podgląd SKILL.md
---
name: bt-datafeeds
description: 取日线数据并做数据体检。规定数据源优先级、代码写法、预热段延长规则、八项体检项、覆盖断言与数据清单格式,并把非标准格式(Markdown 表格、TSV)转换成回测内核要求的 CSV 契约。取数或换数据源时使用。
---
# WF-02 取数与体检
回测的第一个谎言通常来自数据,而不是策略。这一步只干两件事:**把数据弄对**,**把数据的毛病写下来**。
## 一、数据源优先级(严按顺序,不许跳)
| 顺位 | 来源 | 什么时候用 | 必须披露 |
|---|---|---|---|
| 1 | `westock-data` 命令行(若环境已安装) | 个股/指数/ETF 的日线、财务、宏观 | 无需额外披露 |
| 2 | `westock-tool`(若已安装) | 需要"筛出满足条件的股票池" | 无需额外披露 |
| 3 | 用户自带的 CSV / Excel 导出 | 用户已有数据,或标的在接口里查不到 | 回复里写明"数据由用户提供" |
| 4 | 公开网页数据(交易所、指数公司、财经站点) | 前三者都覆盖不到 | **必须在回复里给出处** |
拿不到就是拿不到。不要用"大概""估算""按行业均值"编一段序列——那会让整份回测作废。
## 二、取数的四个硬约束
1. **代码写法**:`sh600000` / `sz000001` / `hk00700` / `usAAPL`(按数据源要求的前后缀)。写错前缀会静默返回另一只标的的行情,这是最隐蔽的错误。
2. **条数上限**:日线单次最多 2000 根。区间超过 8 年要分段取再拼接,拼接处检查日期是否重叠/缺失。
3. **复权口径**:策略涉及长期持有、分红、拆分时用前复权(`--fq qfq`),并在口径卡里写明。**事件研究用不复权**更贴近当时的真实价格,但要说明。
4. **预热段**:数据起点 = `eval_start` 往前推 `最长指标窗口 × 1.5` 个自然日,不是 `eval_start` 本身。少取预热段,前几个月会没有信号。
```bash
# 典型调用(以 200 日均线为例:评估从 2020-01-01 开始,则从 2019-01 取起)
westock-data kline sh510300 --period day --limit 2000 --fq qfq --start 2019-01-01 --end 2024-12-31 > raw/510300.md
python tools/bars_from_table.py raw/510300.md -o data/bars_510300.csv --symbol 510300.SH
```
## 三、八项体检(缺一项都不算体检过)
| # | 检查 | 怎么做 | 不合格怎么办 |
|---|---|---|---|
| 1 | 行数够不够 | 与区间交易日数比对(A 股约 242 根/年) | 差得多 → 接口截断,分段取 |
| 2 | 日期连续 | 找相邻 bar 间隔 > 5 个自然日的位置 | 连续缺失 → 停牌或数据源缺口,记入清单 |
| 3 | 价格有效 | 任何 OHLC ≤ 0 或为 NaN | 整行剔除并计数 |
| 4 | OHLC 关系 | `high ≥ max(open,close)`、`low ≤ min(open,close)` | 记录异常行,交给引擎告警 |
| 5 | 单位一致 | 成交量是"股"还是"手"(A 股接口常为手) | 在清单里写明,避免量比/换手率算错 |
| 6 | 复权一致 | 全序列同一复权口径,不能拼接两种 | 重新取一遍 |
| 7 | 首末日期 | 是否覆盖 `eval_start` 前足够预热、是否覆盖 `eval_end` | 不够就重取区间 |
| 8 | 标的对齐 | 多标的时取交易日交集还是并集 | 默认并集 + 缺失日沿用上一收盘价,并写进清单 |
## 四、覆盖断言(多标的必做)
抓完 N 个标的,**当场断言拿到了 N 个**。少一个就在回复第一段说清楚"筛出 30 只,取到 27 只,缺 3 只(代码 xxx、xxx、xxx)",不许静默用 27 只跑完再交一份看起来完整的报告。
## 五、数据清单(data_manifest.json)
```json
{
"symbol": "510300.SH",
"source": "westock-data kline",
"fetched_at": "2026-10-28 12:30",
"adjust": "qfq",
"unit_volume": "手",
"rows": 1456,
"first_date": "2019-01-02",
"last_date": "2024-12-31",
"gaps": [{"from": "2020-02-03", "to": "2020-02-07", "reason": "春节休市"}],
"ohlc_issues": 0,
"fingerprint": "sha256:9f2c…(对文件字节做哈希,便于复现核对)"
}
```
指纹用 `sha256` 对 CSV 文件算,写在清单里。复现时先比指纹,不一致说明数据变了,结论不可直接比较。
## 六、格式转换
内核只认一种 CSV:
```
date,open,high,low,close,volume
2024-01-02,3.451,3.470,3.440,3.465,5123000
```
接口返回的 Markdown 表格、Excel 导出的中文表头、TSV 都要先转。用随包脚本:
```bash
python tools/bars_from_table.py raw.md -o data/bars_510300.csv --symbol 510300.SH
```
它认得:`date/日期/时间`、`open/开盘/开盘价`、`high/最高/最高价`、`low/最低/最低价`、`close/收盘/收盘价`、`volume/成交量/成交额`,也认得 Markdown 的 `|` 分隔和制表符分隔。转完会打印行数、首末日期与体检摘要。
字段契约详见 `references/csv-contract.md`,命令行参数见 `references/westock-cli.md`。
## 七、退出条件
- 每个标的都有一份 CSV + 一条清单记录
- 八项体检跑过,异常项写进清单
- 覆盖断言通过(或差额已记录)
- 预热段足够长
任何一条不满足,不进 WF-03。
Pliki w paczce (3)
- SKILL.md 5 KB
- references/csv-contract.md 1 KB
- references/westock-cli.md 2 KB
Wersje
W bazie nie ma innych skilli o nazwie bt-datafeeds.
Migawka bazy z 13.11.2026 · wersja paczki 23f533ccaca9 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 90data-file-ops
Sprawdza, czyści, przekształca i porównuje lokalne pliki JSON, CSV, TSV i tekstowe, dając powtarzalne wyniki. - 100csv-tools
Przegląda, filtruje, agreguje i czyści dane CSV i TSV w Pythonie: podgląd, statystyki kolumn, sortowanie, deduplikacja i sumy grupowe bez pełnego arkusza. - 100cisivi
Czyta, filtruje, sortuje i łączy dane w plikach CSV, TSV i ze średnikami, a także je edytuje w skryptach powłoki. - 100tsv
Przegląda, filtruje i konwertuje dane w formacie TSV, używając x-cmd, awk albo Pythona. - 95kages-data-to-kage
Zamienia pliki CSV, TSV, eksporty arkuszy lub rekordy JSON w interaktywną stronę Kage z tabelami, filtrami i wykresami. - 100dataset-health-audit
Audytuje dane tabelaryczne (CSV, Excel, TSV, JSON) w 12 wymiarach jakości i zwraca ocenę, szczegóły problemów oraz wskazówki naprawy: braki, duplikaty, wartości odstające i formaty.