Przejdź do treści
Biblioteka skilli
Dane i analityka · Konwersja i formaty

bt-datafeeds

/bt-datafeeds

Pobiera dzienne dane rynkowe, sprawdza ich jakość i zamienia tabele Markdown lub TSV na pliki CSV do backtestu.

Repozytorium
czl-experts ↗
Licencja
MIT
Ostatnia zmiana repozytorium
01.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 01.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Pobiera dzienne dane rynkowe, sprawdza ich jakość i zamienia tabele Markdown lub TSV na pliki CSV do backtestu.

Oryginalny opis (EN)

取日线数据并做数据体检。规定数据源优先级、代码写法、预热段延长规则、八项体检项、覆盖断言与数据清单格式,并把非标准格式(Markdown 表格、TSV)转换成回测内核要求的 CSV 契约。取数或换数据源时使用。

Jak działa

  1. 一、数据源优先级(严按顺序,不许跳)
  2. 二、取数的四个硬约束
  3. 三、八项体检(缺一项都不算体检过)
  4. 四、覆盖断言(多标的必做)
  5. 五、数据清单(datamanifest.json)
  6. 六、格式转换
  7. 七、退出条件
Sekcje z nagłówków SKILL.md, w oryginale · 94 linii, 334 słów
Podgląd SKILL.md
---
name: bt-datafeeds
description: 取日线数据并做数据体检。规定数据源优先级、代码写法、预热段延长规则、八项体检项、覆盖断言与数据清单格式,并把非标准格式(Markdown 表格、TSV)转换成回测内核要求的 CSV 契约。取数或换数据源时使用。
---

# WF-02 取数与体检

回测的第一个谎言通常来自数据,而不是策略。这一步只干两件事:**把数据弄对**,**把数据的毛病写下来**。

## 一、数据源优先级(严按顺序,不许跳)

| 顺位 | 来源 | 什么时候用 | 必须披露 |
|---|---|---|---|
| 1 | `westock-data` 命令行(若环境已安装) | 个股/指数/ETF 的日线、财务、宏观 | 无需额外披露 |
| 2 | `westock-tool`(若已安装) | 需要"筛出满足条件的股票池" | 无需额外披露 |
| 3 | 用户自带的 CSV / Excel 导出 | 用户已有数据,或标的在接口里查不到 | 回复里写明"数据由用户提供" |
| 4 | 公开网页数据(交易所、指数公司、财经站点) | 前三者都覆盖不到 | **必须在回复里给出处** |

拿不到就是拿不到。不要用"大概""估算""按行业均值"编一段序列——那会让整份回测作废。

## 二、取数的四个硬约束

1. **代码写法**:`sh600000` / `sz000001` / `hk00700` / `usAAPL`(按数据源要求的前后缀)。写错前缀会静默返回另一只标的的行情,这是最隐蔽的错误。
2. **条数上限**:日线单次最多 2000 根。区间超过 8 年要分段取再拼接,拼接处检查日期是否重叠/缺失。
3. **复权口径**:策略涉及长期持有、分红、拆分时用前复权(`--fq qfq`),并在口径卡里写明。**事件研究用不复权**更贴近当时的真实价格,但要说明。
4. **预热段**:数据起点 = `eval_start` 往前推 `最长指标窗口 × 1.5` 个自然日,不是 `eval_start` 本身。少取预热段,前几个月会没有信号。

```bash
# 典型调用(以 200 日均线为例:评估从 2020-01-01 开始,则从 2019-01 取起)
westock-data kline sh510300 --period day --limit 2000 --fq qfq --start 2019-01-01 --end 2024-12-31 > raw/510300.md
python tools/bars_from_table.py raw/510300.md -o data/bars_510300.csv --symbol 510300.SH
```

## 三、八项体检(缺一项都不算体检过)

| # | 检查 | 怎么做 | 不合格怎么办 |
|---|---|---|---|
| 1 | 行数够不够 | 与区间交易日数比对(A 股约 242 根/年) | 差得多 → 接口截断,分段取 |
| 2 | 日期连续 | 找相邻 bar 间隔 > 5 个自然日的位置 | 连续缺失 → 停牌或数据源缺口,记入清单 |
| 3 | 价格有效 | 任何 OHLC ≤ 0 或为 NaN | 整行剔除并计数 |
| 4 | OHLC 关系 | `high ≥ max(open,close)`、`low ≤ min(open,close)` | 记录异常行,交给引擎告警 |
| 5 | 单位一致 | 成交量是"股"还是"手"(A 股接口常为手) | 在清单里写明,避免量比/换手率算错 |
| 6 | 复权一致 | 全序列同一复权口径,不能拼接两种 | 重新取一遍 |
| 7 | 首末日期 | 是否覆盖 `eval_start` 前足够预热、是否覆盖 `eval_end` | 不够就重取区间 |
| 8 | 标的对齐 | 多标的时取交易日交集还是并集 | 默认并集 + 缺失日沿用上一收盘价,并写进清单 |

## 四、覆盖断言(多标的必做)

抓完 N 个标的,**当场断言拿到了 N 个**。少一个就在回复第一段说清楚"筛出 30 只,取到 27 只,缺 3 只(代码 xxx、xxx、xxx)",不许静默用 27 只跑完再交一份看起来完整的报告。

## 五、数据清单(data_manifest.json)

```json
{
  "symbol": "510300.SH",
  "source": "westock-data kline",
  "fetched_at": "2026-10-28 12:30",
  "adjust": "qfq",
  "unit_volume": "手",
  "rows": 1456,
  "first_date": "2019-01-02",
  "last_date": "2024-12-31",
  "gaps": [{"from": "2020-02-03", "to": "2020-02-07", "reason": "春节休市"}],
  "ohlc_issues": 0,
  "fingerprint": "sha256:9f2c…(对文件字节做哈希,便于复现核对)"
}
```

指纹用 `sha256` 对 CSV 文件算,写在清单里。复现时先比指纹,不一致说明数据变了,结论不可直接比较。

## 六、格式转换

内核只认一种 CSV:

```
date,open,high,low,close,volume
2024-01-02,3.451,3.470,3.440,3.465,5123000
```

接口返回的 Markdown 表格、Excel 导出的中文表头、TSV 都要先转。用随包脚本:

```bash
python tools/bars_from_table.py raw.md -o data/bars_510300.csv --symbol 510300.SH
```

它认得:`date/日期/时间`、`open/开盘/开盘价`、`high/最高/最高价`、`low/最低/最低价`、`close/收盘/收盘价`、`volume/成交量/成交额`,也认得 Markdown 的 `|` 分隔和制表符分隔。转完会打印行数、首末日期与体检摘要。

字段契约详见 `references/csv-contract.md`,命令行参数见 `references/westock-cli.md`。

## 七、退出条件

- 每个标的都有一份 CSV + 一条清单记录
- 八项体检跑过,异常项写进清单
- 覆盖断言通过(或差额已记录)
- 预热段足够长

任何一条不满足,不进 WF-03。
Pliki w paczce (3)
  • SKILL.md 5 KB
  • references/csv-contract.md 1 KB
  • references/westock-cli.md 2 KB

Wersje

W bazie nie ma innych skilli o nazwie bt-datafeeds.

Migawka bazy z 13.11.2026 · wersja paczki 23f533ccaca9 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90data-file-ops
    Sprawdza, czyści, przekształca i porównuje lokalne pliki JSON, CSV, TSV i tekstowe, dając powtarzalne wyniki.
  • 100csv-tools
    Przegląda, filtruje, agreguje i czyści dane CSV i TSV w Pythonie: podgląd, statystyki kolumn, sortowanie, deduplikacja i sumy grupowe bez pełnego arkusza.
  • 100cisivi
    Czyta, filtruje, sortuje i łączy dane w plikach CSV, TSV i ze średnikami, a także je edytuje w skryptach powłoki.
  • 100tsv
    Przegląda, filtruje i konwertuje dane w formacie TSV, używając x-cmd, awk albo Pythona.
  • 95kages-data-to-kage
    Zamienia pliki CSV, TSV, eksporty arkuszy lub rekordy JSON w interaktywną stronę Kage z tabelami, filtrami i wykresami.
  • 100dataset-health-audit
    Audytuje dane tabelaryczne (CSV, Excel, TSV, JSON) w 12 wymiarach jakości i zwraca ocenę, szczegóły problemów oraz wskazówki naprawy: braki, duplikaty, wartości odstające i formaty.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.