Przejdź do treści
Biblioteka skilli
Dane i analityka · Analiza

challenge

/challenge

Testuje wrażliwość wyniku na wybór miary, próby, zmiennych i formy funkcji, pokazując rozkład wyników zamiast jednego wskaźnika.

Licencja
MIT
Ostatnia zmiana repozytorium
10.11.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
4
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 10.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Testuje wrażliwość wyniku na wybór miary, próby, zmiennych i formy funkcji, pokazując rozkład wyników zamiast jednego wskaźnika.

Wyzwalacze z opisu

is this robustchallenge this resultspecification curvemultiversehow sensitive is thiswhat if Istress-test my estimate这个结果稳健吗

Argumenty

/challenge [script or results file] [--forks N] [--dry-run]
Oryginalny opis (EN)

用尚未采用的分析选择压力测试一个发现。列全合格分析者可能选择的离散分叉,包括度量定义、样本筛选、控制变量集、聚类层级、加权和函数形式,按估计目标分区运行设定网格并报告分布而非单个点估计。具体因果敏感性统计量、推断检验与证伪检验只在有带日期的现行 owner 签核时按签核执行,否则保留可见空缺并交研究者。用户说 "is this robust"、"challenge this result"、"specification curve"、"multiverse"、"how sensitive is this"、"what if I'd used a different measure"、"stress-test my estimate"、"这个结果稳健吗"、"挑战这个结果"、"设定曲线"、"多宇宙分析" 或 "估计对选择有多敏感" 时使用,也可在结果成为头条断言之前使用。它不审查散文或代码,只挑战断言(CLAIM)。

Jak działa

  1. 前置条件
  2. Step 1 — 在跑任何东西之前,先把分叉列全
  3. Step 2 — 在预算内跑各估计目标分区
  4. Step 3 — 在每个估计目标内报告分布,而不是赢家
  5. Step 4 — 识别假设:签核控制与可见空缺
  6. Step 5 — 安慰剂与证伪:签核控制与可见空缺
  7. Step 6 — 写台账条目
  8. 反模式
  9. 参考文件
  10. 交叉引用
Sekcje z nagłówków SKILL.md, w oryginale · 101 linii, 280 słów
Podgląd SKILL.md
---
name: challenge
description: 用尚未采用的分析选择压力测试一个发现。列全合格分析者可能选择的离散分叉,包括度量定义、样本筛选、控制变量集、聚类层级、加权和函数形式,按估计目标分区运行设定网格并报告分布而非单个点估计。具体因果敏感性统计量、推断检验与证伪检验只在有带日期的现行 owner 签核时按签核执行,否则保留可见空缺并交研究者。用户说 "is this robust"、"challenge this result"、"specification curve"、"multiverse"、"how sensitive is this"、"what if I'd used a different measure"、"stress-test my estimate"、"这个结果稳健吗"、"挑战这个结果"、"设定曲线"、"多宇宙分析" 或 "估计对选择有多敏感" 时使用,也可在结果成为头条断言之前使用。它不审查散文或代码,只挑战断言(CLAIM)。
argument-hint: "[script or results file] [--forks N] [--dry-run]"
allowed-tools: ["Read", "Grep", "Glob", "Bash", "Write", "Edit", "Agent", "Task"]
disable-model-invocation: true
metadata:
  protocol: threat-prioritization
---

# Challenge — 结果能否在你没做的那些选择下活下来?

单一设定只是从一个尚未观察的分布中取出的一次结果。

**这套方法的依据来自测量,而不是宣称。** 一项对照研究让 150 个自主代理使用同一份数据、回答同一个问题。效应量的四分位距达到 **~10.7 %/yr**,离散度主要来自**离散的度量选择分叉**,而不是估计噪声。在同一度量族内部,代理间一致度约为 ~0.25 %/yr。该研究的两项发现决定了本技能的设计:

- **AI 同行评审几乎没有降低离散度。** 评审能发现错误,但不能降低分析选择带来的方差。一份没有问题的审稿报告不等于结果稳健。
- 接触范例论文能把离散度压低 80–99 %,但**这是模仿带来的收敛,不是正确性带来的收敛。** 羊群效应不等于共识。

因此必须直接测量离散度,不能指望通过评审消除它。

## 前置条件

- 有一份能运行并生成头条估计的基线设定。
- 能用文字明确说明估计的**估计目标**,例如 "the ATT for units treated in 2015, over
  2013–2019, on the treated population"。如果说不出来就停止,因为尚未定义的断言无法接受挑战。
- 有一份**分叉预算**(`--forks`,默认 64)。网格大小是各项选择数量的乘积,增长速度往往超过直觉。

| 参数 | 作用 |
|---|---|
| `--forks` | 所有估计目标分区合计的拟合预算,默认 64;未缩减网格大小是各分叉选项数的乘积,缩减设计按实际拟执行格子计数 |
| `--dry-run` | 打印各分区实际拟执行格子数、其总和与预计运行时长并比较 `--forks`;原设计及每次获批缩减设计都必须运行,超支即停止,不执行任何拟合 |

## Step 1 — 在跑任何东西之前,先把分叉列全

列出合格且诚实的分析者可能作出不同选择的每个位置。必须在看到任何替代结果**之前**完成并写下清单,这份清单就是本次挑战的预注册。

| 分叉 | 常见替代 |
|---|---|
| **度量定义** | 水平值 vs 比率 vs 份额;金额 vs 计数;存量 vs 流量 |
| **样本筛选** | 平衡 vs 不平衡;缩尾规则;纳入窗口 |
| **控制变量集** | 无 / 基线 / 基线+趋势 / 交互 |
| **聚类层级** | 个体 / 处理指派 / 双向 |
| **加权** | 不加权 / 总体 / 逆倾向 |
| **函数形式** | 水平值 / 对数 / IHS / Poisson |
| **缩尾** | 无 / 1% / 5% |

> 有些分叉改变的是**估计目标**,不只是估计值,对它们取平均没有意义。[`references/fork-catalog.md`](references/fork-catalog.md) 为每个分叉提供标签。先为每个分叉选项分配 `estimand_id`,把改变估计目标的选项拆成独立分区;每个分区只包含同一估计目标内的设定。跨目标只能并列报告定义与结果,不能合并成单一网格或分布。

**先运行 `--dry-run`。** 执行任何拟合前,打印每个估计目标分区的网格大小、总拟合格数和预计运行时长,并将总格数与 `--forks` 预算比较。6 个分叉各有 3 个选项时,未缩减网格包含 729 次拟合。**总格数超过预算就停止,不执行任何拟合**;把超支情况交给用户,由用户明确选择缩减分叉,或选择并预先声明一个部分因子设计(固定保留的因子、水平和交互项及未覆盖格子的处理方式)。不得擅自缩减,也不得在超支后仍逐格全跑。

**批准缩减设计不等于预算通过。** 用户批准缩减清单或部分因子设计后,必须对获批设计重新运行 `--dry-run`,按所有 `estimand_id` 分区中该设计**实际拟执行的格子数**逐区计数并求和;不得沿用原全网格数、只数因子或水平,也不得用估计上界替代实际格子数。只有重新计算的总数仍 `≤ --forks` 才能进入拟合;仍超预算就继续停止并交用户处理,不执行任何拟合。

## Step 2 — 在预算内跑各估计目标分区

只有最新一次 `--dry-run` 显示所有分区实际拟执行格子数之和 `≤ --forks`,才能开始拟合;设计获批后发生过任何缩减或改动,都必须以重新 `--dry-run` 的结果为准。按 `estimand_id` 分区执行获批设计中的每个格子,所有格使用同一种子和同一份数据构建。保留每个已执行格子的结果,**包括失败结果**。不收敛的设定反映了脆弱性,不能丢弃;未获批或未执行的格子也要单独标记,不能混入已执行结果。

每格记录 `estimand_id`、分叉坐标、点估计、标准误、N 和收敛状态。跨分区不得共用排序、分布统计或百分位。

## Step 3 — 在每个估计目标内报告分布,而不是赢家

- **设定曲线**:仅在同一 `estimand_id` 内排序并展示估计值,下方给出相应分叉坐标,让读者看清哪些选择改变了结果。不同估计目标的曲线只能分区并列,不能拼接或共同排序。
- **同号设定的占比**和在常规水平上显著的占比:只使用同一估计目标内的已执行格子分别计算。两者都要报告,因为它们回答不同问题;不得跨目标合并分子或分母。
- **哪个分叉驱动了离散度。** 这是最重要的信息。「结果稳健,唯独对金额口径与份额口径之间的选择敏感」比一整段泛泛的稳健性说明更有用;若该分叉改变了估计目标,就只并列定义与各目标结果,不计算跨目标离散度。
- **基线在自身分布中的百分位。** 仅在基线所属的同一估计目标分区内计算。如果头条估计位于该分区合理设定的第 97 百分位,应明确报告;跨估计目标不计算基线百分位。

跨估计目标的报告只并列展示各目标的定义、对应设定和结果,不作共同排序、共同曲线、同号比例、显著比例或百分位比较。

> 描述性曲线不是检验,只能用于描述脆弱性。对曲线作进一步推断所需的具体检验属于签核控制范围:只有 owner 对当前文本给出带日期的现行签核时才按签核执行,否则保留可见空缺并交研究者。

## Step 4 — 识别假设:签核控制与可见空缺

网格只能改变分析者*能够*调整的部分,不能把描述性网格当作识别证据。

> **可见空缺:具体因果敏感性统计量及其计算指示尚未获得 owner 对当前文本的带日期现行签核,本技能不列举、不推荐、不计算。**

只有现行签核明确覆盖当前统计量、适用条件、计算和报告方式时,才严格按该签核执行,并记录签核文本、日期与适用范围;历史签核或仅有相似名称不能沿用。没有现行签核时,把识别假设、需要决定的敏感性问题和上述空缺一并交研究者;不得以同名参考文件代替签核,也不得自行补齐统计量目录。

## Step 5 — 安慰剂与证伪:签核控制与可见空缺

> **可见空缺:具体证伪检验及其执行指示尚未获得 owner 对当前文本的带日期现行签核,本技能不自行选择或运行。**

只有现行签核明确覆盖当前检验、适用条件、执行和报告方式时,才严格按该签核执行并记录签核日期与范围。否则保留此空缺,将是否需要检验、采用何种设计及如何解释交研究者决定;不得因为某种检验看似存在就运行,也不得用描述性网格替代证伪证据。

## Step 6 — 写台账条目

向设定搜索台账([`verification-ladder.md`](../../references/verification-ladder.md)
rung 5)追加:估计目标定义与分区映射、分叉清单、原始及每次缩减后重新 `--dry-run` 的各分区实际拟执行格子数与总和、`--forks` 预算比较、用户批准的缩减或部分因子设计、分区分布摘要、改变结果的分叉、相关检验的签核日期与适用范围或可见空缺及研究者交接,以及**每次尝试,包括失败尝试和未执行格子**。

> **提前固定解释规则。** 运行网格前,写下什么结果会支持(SUPPORT)、什么结果会削弱(WEAKEN)这条断言,并以台账为仲裁依据。事后才决定如何解释,不算稳健性练习。

## 反模式

- **一直运行到出现有趣结果。** 固定的分叉清单、预算和明确停止规则,正是为了避免这种做法。
- **只报告一致设定。** 只给支持性格子画曲线,本质上仍是挑选结果。
- **把很宽的曲线当成失败。** 宽度本身就是发现,应报告并说明驱动因素。
- **加入无人愿意辩护的分叉。** 不能用它们撑大分母、稀释脆弱格子。

## 参考文件

| 文件 | 何时阅读 |
|---|---|
| [`references/fork-catalog.md`](references/fork-catalog.md) | 为此前没有挑战过的设计列出分叉时 |

## 交叉引用

- [`verification-ladder.md`](../../references/verification-ladder.md):rung 4(解析验证)和 rung 5(台账)
- [`/simulation-study`](../simulation-study/SKILL.md):问题是有限样本表现而非稳健性时使用
- [`/preregister`](../preregister/SKILL.md):在搜索前而非搜索后预留留出集
Pliki w paczce (4)
  • SKILL.md 10 KB
  • evals/marker.txt 1 KB
  • references/fork-catalog.md 2 KB
  • references/sensitivity-statistics.md 3 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · Sellyew/Workbuddy-workflow90MIT
olehsov/gcp-certification-coach100MIT
pantheon-org/tekhne100MIT
pedrohcgs/claude-code-my-workflow100MIT
oliver-kriska/claude-elixir-phoenix100MIT
jayjiangct/knowlery100MIT
alirezarezvani/claude-skills100MIT
athola/claude-night-market100MIT
cofin/flow100Apache-2.0

Migawka bazy z 13.11.2026 · wersja paczki ef156b31ff68 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90challenge-result
    Podważa gotową odpowiedź analityczną, sprawdzając alternatywne interpretacje, zanim ją potwierdzi lub skoryguje.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.