Przejdź do treści
Biblioteka skilli
Nauka i badania · Planowanie

preregister

/preregister

Blokuje cel konfirmacyjny falsyfikacji i stałą rodzinę porównań wielokrotnych przed zobaczeniem wyniku, z korektą Bonferroniego i zapisem metryki, progu i budżetu ziaren.

Repozytorium
aiscientist ↗
Licencja
MIT
Ostatnia zmiana repozytorium
09.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 09.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Blokuje cel konfirmacyjny falsyfikacji i stałą rodzinę porównań wielokrotnych przed zobaczeniem wyniku, z korektą Bonferroniego i zapisem metryki, progu i budżetu ziaren.

Oryginalny opis (EN)

Lock a confirmatory falsification target and its fixed multiple-comparison family before observing the confirmatory result. Use before promoting an exploratory finding to a main claim or whenever several related hypotheses need Bonferroni control. Records metric, threshold, family id/size, correction, and seed budget.

Jak działa

  1. When to invoke
  2. Required arguments
  3. Workflow
  4. Resolution
  5. Guardrails
Sekcje z nagłówków SKILL.md, w oryginale · 54 linii, 487 słów
Podgląd SKILL.md
---
name: preregister
description: Lock a confirmatory falsification target and its fixed multiple-comparison family before observing the confirmatory result. Use before promoting an exploratory finding to a main claim or whenever several related hypotheses need Bonferroni control. Records metric, threshold, family id/size, correction, and seed budget.
---

# Preregister

This skill supports "decide before observing" for confirmatory claims. Exploratory runs may still use seed_perturb / pin_metric, but any number intended as a main publication claim should have a matching prereg row first.

## When to invoke

- Before a result is promoted from exploratory to a confirmatory manuscript claim.
- Right after `bt-tournament` returns the top-2 hypotheses when the next run is explicitly confirmatory.
- Whenever the user types `/preregister`.

## Required arguments

| arg | meaning | example |
|---|---|---|
| `hypothesis_id` | id from `mem_nodes` (kind=hypothesis) | `hyp_a3f9...` |
| `metric_name` | exact claim text the engineer will pin later | `"test accuracy"` |
| `direction` | `higher_better` or `lower_better` | `higher_better` |
| `threshold` | number that separates `met` from `missed` | `0.85` |
| `seed_count` | how many seeds the seed_perturb call must use | `5` |
| `alpha` | nominal Type-I error rate | `0.05` |
| `mc_correction` | `bonferroni` (default), `none`, or legacy alias `bh` | `bonferroni` |
| `family_id` | stable id shared by related confirmatory tests | `primary_metrics` |
| `family_size` | total number of tests planned in that family | `4` |
| `heldout_dataset` | optional dataset name to be queried via query_heldout | `mnist-test` |

## Workflow

1. Call `mcp__verify__list_preregistrations(hypothesis_id=...)`. If a row exists with status `open`, do not fail the session. Ask whether to reuse that lock, withdraw it outside this tool, or create a separate confirmatory prereg for a genuinely different metric.
2. Before the first family member is resolved, define the full family. Use one
   `family_id` and the same locked `family_size`, alpha, and correction for all
   related tests. A standalone test gets an automatically generated family of 1.
3. Call `mcp__verify__preregister(...)` with the exact metric text, threshold,
   `family_id`, and `family_size`.
4. Surface the resulting `prereg_id` and family metadata before implementation.
5. Pass `prereg_id` along the workflow so the confirmatory run stays linked.

## Resolution

The engineer or verifier later calls `mcp__verify__resolve_preregistration(prereg_id, observed_value, observed_p_value)`. The verdict is **frozen** at that point and:

- Bonferroni correction uses the fixed `family_size` saved at lock time.
  Resolving earlier rows never relaxes alpha for later rows. The old `bh`
  value remains a compatibility alias and resolves with the same fixed-family
  Bonferroni calculation.
- `prereg_resolved` events fire into the cockpit.
- The `reviewer` agent later treats confirmatory manuscript claims with status != `met` as blockers. Exploratory claims must be labelled as exploratory in the manuscript.

## Guardrails

- Never edit a prereg after lock. There is no `update_preregistration`. If the locking was wrong, file a new prereg and add a note in the manuscript explaining that the earlier run was exploratory or superseded.
- `withdrawn` is reserved for cases the user actively cancels a hypothesis; the verifier never withdraws on its own.
- Do not invoke this skill in parallel with a confirmatory seed_perturb. Exploratory seed_perturb runs may exist before the lock, but must stay labelled exploratory.

Wersje

RepozytoriumWynikLicencja
Ta strona · whenpoem/aiscientist100MIT
Sellyew/Workbuddy-workflow100MIT
pedrohcgs/claude-code-my-workflow100MIT

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki 9dd1fda5ba2a (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

Brak podobnych skilli w bazie.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.