challenge
/challenge
Testuje wrażliwość wyniku na wybór miary, próby, zmiennych i formy funkcji, pokazując rozkład wyników zamiast jednego wskaźnika.
- Autor
- Sellyew ↗
- Repozytorium
- Workbuddy-workflow ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 10.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 4
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 10.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Testuje wrażliwość wyniku na wybór miary, próby, zmiennych i formy funkcji, pokazując rozkład wyników zamiast jednego wskaźnika.
Wyzwalacze z opisu
Argumenty
/challenge [script or results file] [--forks N] [--dry-run]
Oryginalny opis (EN)
用尚未采用的分析选择压力测试一个发现。列全合格分析者可能选择的离散分叉,包括度量定义、样本筛选、控制变量集、聚类层级、加权和函数形式,按估计目标分区运行设定网格并报告分布而非单个点估计。具体因果敏感性统计量、推断检验与证伪检验只在有带日期的现行 owner 签核时按签核执行,否则保留可见空缺并交研究者。用户说 "is this robust"、"challenge this result"、"specification curve"、"multiverse"、"how sensitive is this"、"what if I'd used a different measure"、"stress-test my estimate"、"这个结果稳健吗"、"挑战这个结果"、"设定曲线"、"多宇宙分析" 或 "估计对选择有多敏感" 时使用,也可在结果成为头条断言之前使用。它不审查散文或代码,只挑战断言(CLAIM)。
Jak działa
- 前置条件
- Step 1 — 在跑任何东西之前,先把分叉列全
- Step 2 — 在预算内跑各估计目标分区
- Step 3 — 在每个估计目标内报告分布,而不是赢家
- Step 4 — 识别假设:签核控制与可见空缺
- Step 5 — 安慰剂与证伪:签核控制与可见空缺
- Step 6 — 写台账条目
- 反模式
- 参考文件
- 交叉引用
Podgląd SKILL.md
--- name: challenge description: 用尚未采用的分析选择压力测试一个发现。列全合格分析者可能选择的离散分叉,包括度量定义、样本筛选、控制变量集、聚类层级、加权和函数形式,按估计目标分区运行设定网格并报告分布而非单个点估计。具体因果敏感性统计量、推断检验与证伪检验只在有带日期的现行 owner 签核时按签核执行,否则保留可见空缺并交研究者。用户说 "is this robust"、"challenge this result"、"specification curve"、"multiverse"、"how sensitive is this"、"what if I'd used a different measure"、"stress-test my estimate"、"这个结果稳健吗"、"挑战这个结果"、"设定曲线"、"多宇宙分析" 或 "估计对选择有多敏感" 时使用,也可在结果成为头条断言之前使用。它不审查散文或代码,只挑战断言(CLAIM)。 argument-hint: "[script or results file] [--forks N] [--dry-run]" allowed-tools: ["Read", "Grep", "Glob", "Bash", "Write", "Edit", "Agent", "Task"] disable-model-invocation: true metadata: protocol: threat-prioritization --- # Challenge — 结果能否在你没做的那些选择下活下来? 单一设定只是从一个尚未观察的分布中取出的一次结果。 **这套方法的依据来自测量,而不是宣称。** 一项对照研究让 150 个自主代理使用同一份数据、回答同一个问题。效应量的四分位距达到 **~10.7 %/yr**,离散度主要来自**离散的度量选择分叉**,而不是估计噪声。在同一度量族内部,代理间一致度约为 ~0.25 %/yr。该研究的两项发现决定了本技能的设计: - **AI 同行评审几乎没有降低离散度。** 评审能发现错误,但不能降低分析选择带来的方差。一份没有问题的审稿报告不等于结果稳健。 - 接触范例论文能把离散度压低 80–99 %,但**这是模仿带来的收敛,不是正确性带来的收敛。** 羊群效应不等于共识。 因此必须直接测量离散度,不能指望通过评审消除它。 ## 前置条件 - 有一份能运行并生成头条估计的基线设定。 - 能用文字明确说明估计的**估计目标**,例如 "the ATT for units treated in 2015, over 2013–2019, on the treated population"。如果说不出来就停止,因为尚未定义的断言无法接受挑战。 - 有一份**分叉预算**(`--forks`,默认 64)。网格大小是各项选择数量的乘积,增长速度往往超过直觉。 | 参数 | 作用 | |---|---| | `--forks` | 所有估计目标分区合计的拟合预算,默认 64;未缩减网格大小是各分叉选项数的乘积,缩减设计按实际拟执行格子计数 | | `--dry-run` | 打印各分区实际拟执行格子数、其总和与预计运行时长并比较 `--forks`;原设计及每次获批缩减设计都必须运行,超支即停止,不执行任何拟合 | ## Step 1 — 在跑任何东西之前,先把分叉列全 列出合格且诚实的分析者可能作出不同选择的每个位置。必须在看到任何替代结果**之前**完成并写下清单,这份清单就是本次挑战的预注册。 | 分叉 | 常见替代 | |---|---| | **度量定义** | 水平值 vs 比率 vs 份额;金额 vs 计数;存量 vs 流量 | | **样本筛选** | 平衡 vs 不平衡;缩尾规则;纳入窗口 | | **控制变量集** | 无 / 基线 / 基线+趋势 / 交互 | | **聚类层级** | 个体 / 处理指派 / 双向 | | **加权** | 不加权 / 总体 / 逆倾向 | | **函数形式** | 水平值 / 对数 / IHS / Poisson | | **缩尾** | 无 / 1% / 5% | > 有些分叉改变的是**估计目标**,不只是估计值,对它们取平均没有意义。[`references/fork-catalog.md`](references/fork-catalog.md) 为每个分叉提供标签。先为每个分叉选项分配 `estimand_id`,把改变估计目标的选项拆成独立分区;每个分区只包含同一估计目标内的设定。跨目标只能并列报告定义与结果,不能合并成单一网格或分布。 **先运行 `--dry-run`。** 执行任何拟合前,打印每个估计目标分区的网格大小、总拟合格数和预计运行时长,并将总格数与 `--forks` 预算比较。6 个分叉各有 3 个选项时,未缩减网格包含 729 次拟合。**总格数超过预算就停止,不执行任何拟合**;把超支情况交给用户,由用户明确选择缩减分叉,或选择并预先声明一个部分因子设计(固定保留的因子、水平和交互项及未覆盖格子的处理方式)。不得擅自缩减,也不得在超支后仍逐格全跑。 **批准缩减设计不等于预算通过。** 用户批准缩减清单或部分因子设计后,必须对获批设计重新运行 `--dry-run`,按所有 `estimand_id` 分区中该设计**实际拟执行的格子数**逐区计数并求和;不得沿用原全网格数、只数因子或水平,也不得用估计上界替代实际格子数。只有重新计算的总数仍 `≤ --forks` 才能进入拟合;仍超预算就继续停止并交用户处理,不执行任何拟合。 ## Step 2 — 在预算内跑各估计目标分区 只有最新一次 `--dry-run` 显示所有分区实际拟执行格子数之和 `≤ --forks`,才能开始拟合;设计获批后发生过任何缩减或改动,都必须以重新 `--dry-run` 的结果为准。按 `estimand_id` 分区执行获批设计中的每个格子,所有格使用同一种子和同一份数据构建。保留每个已执行格子的结果,**包括失败结果**。不收敛的设定反映了脆弱性,不能丢弃;未获批或未执行的格子也要单独标记,不能混入已执行结果。 每格记录 `estimand_id`、分叉坐标、点估计、标准误、N 和收敛状态。跨分区不得共用排序、分布统计或百分位。 ## Step 3 — 在每个估计目标内报告分布,而不是赢家 - **设定曲线**:仅在同一 `estimand_id` 内排序并展示估计值,下方给出相应分叉坐标,让读者看清哪些选择改变了结果。不同估计目标的曲线只能分区并列,不能拼接或共同排序。 - **同号设定的占比**和在常规水平上显著的占比:只使用同一估计目标内的已执行格子分别计算。两者都要报告,因为它们回答不同问题;不得跨目标合并分子或分母。 - **哪个分叉驱动了离散度。** 这是最重要的信息。「结果稳健,唯独对金额口径与份额口径之间的选择敏感」比一整段泛泛的稳健性说明更有用;若该分叉改变了估计目标,就只并列定义与各目标结果,不计算跨目标离散度。 - **基线在自身分布中的百分位。** 仅在基线所属的同一估计目标分区内计算。如果头条估计位于该分区合理设定的第 97 百分位,应明确报告;跨估计目标不计算基线百分位。 跨估计目标的报告只并列展示各目标的定义、对应设定和结果,不作共同排序、共同曲线、同号比例、显著比例或百分位比较。 > 描述性曲线不是检验,只能用于描述脆弱性。对曲线作进一步推断所需的具体检验属于签核控制范围:只有 owner 对当前文本给出带日期的现行签核时才按签核执行,否则保留可见空缺并交研究者。 ## Step 4 — 识别假设:签核控制与可见空缺 网格只能改变分析者*能够*调整的部分,不能把描述性网格当作识别证据。 > **可见空缺:具体因果敏感性统计量及其计算指示尚未获得 owner 对当前文本的带日期现行签核,本技能不列举、不推荐、不计算。** 只有现行签核明确覆盖当前统计量、适用条件、计算和报告方式时,才严格按该签核执行,并记录签核文本、日期与适用范围;历史签核或仅有相似名称不能沿用。没有现行签核时,把识别假设、需要决定的敏感性问题和上述空缺一并交研究者;不得以同名参考文件代替签核,也不得自行补齐统计量目录。 ## Step 5 — 安慰剂与证伪:签核控制与可见空缺 > **可见空缺:具体证伪检验及其执行指示尚未获得 owner 对当前文本的带日期现行签核,本技能不自行选择或运行。** 只有现行签核明确覆盖当前检验、适用条件、执行和报告方式时,才严格按该签核执行并记录签核日期与范围。否则保留此空缺,将是否需要检验、采用何种设计及如何解释交研究者决定;不得因为某种检验看似存在就运行,也不得用描述性网格替代证伪证据。 ## Step 6 — 写台账条目 向设定搜索台账([`verification-ladder.md`](../../references/verification-ladder.md) rung 5)追加:估计目标定义与分区映射、分叉清单、原始及每次缩减后重新 `--dry-run` 的各分区实际拟执行格子数与总和、`--forks` 预算比较、用户批准的缩减或部分因子设计、分区分布摘要、改变结果的分叉、相关检验的签核日期与适用范围或可见空缺及研究者交接,以及**每次尝试,包括失败尝试和未执行格子**。 > **提前固定解释规则。** 运行网格前,写下什么结果会支持(SUPPORT)、什么结果会削弱(WEAKEN)这条断言,并以台账为仲裁依据。事后才决定如何解释,不算稳健性练习。 ## 反模式 - **一直运行到出现有趣结果。** 固定的分叉清单、预算和明确停止规则,正是为了避免这种做法。 - **只报告一致设定。** 只给支持性格子画曲线,本质上仍是挑选结果。 - **把很宽的曲线当成失败。** 宽度本身就是发现,应报告并说明驱动因素。 - **加入无人愿意辩护的分叉。** 不能用它们撑大分母、稀释脆弱格子。 ## 参考文件 | 文件 | 何时阅读 | |---|---| | [`references/fork-catalog.md`](references/fork-catalog.md) | 为此前没有挑战过的设计列出分叉时 | ## 交叉引用 - [`verification-ladder.md`](../../references/verification-ladder.md):rung 4(解析验证)和 rung 5(台账) - [`/simulation-study`](../simulation-study/SKILL.md):问题是有限样本表现而非稳健性时使用 - [`/preregister`](../preregister/SKILL.md):在搜索前而非搜索后预留留出集
Pliki w paczce (4)
- SKILL.md 10 KB
- evals/marker.txt 1 KB
- references/fork-catalog.md 2 KB
- references/sensitivity-statistics.md 3 KB
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · Sellyew/Workbuddy-workflow | 90 | MIT |
| olehsov/gcp-certification-coach | 100 | MIT |
| pantheon-org/tekhne | 100 | MIT |
| pedrohcgs/claude-code-my-workflow | 100 | MIT |
| oliver-kriska/claude-elixir-phoenix | 100 | MIT |
| jayjiangct/knowlery | 100 | MIT |
| alirezarezvani/claude-skills | 100 | MIT |
| athola/claude-night-market | 100 | MIT |
| cofin/flow | 100 | Apache-2.0 |
Migawka bazy z 13.11.2026 · wersja paczki ef156b31ff68 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 90challenge-result
Podważa gotową odpowiedź analityczną, sprawdzając alternatywne interpretacje, zanim ją potwierdzi lub skoryguje.