ab-test-analysis
/ab-test-analysis
Prowadzi rygorystyczną statystyczną analizę testów A/B: istotność statystyczna, wykrywanie niezgodności proporcji próby (SRM) i walidacja projektu testu przed startem.
- Autor
- nimrodfisher ↗
- Repozytorium
- data-analytics-skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 25.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 4
- Skrypty
- 1
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 25.09.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
- 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.
Skrypty: scripts/ab_test_analyzer.py
Co robi i kiedy
Prowadzi rygorystyczną statystyczną analizę testów A/B: istotność statystyczna, wykrywanie niezgodności proporcji próby (SRM) i walidacja projektu testu przed startem.
Oryginalny opis (EN)
Rigorous A/B test statistical analysis. Use when analyzing experiment results, calculating statistical significance, checking for sample ratio mismatch, or validating test design before launch.
Jak działa
SKILL.md bez nagłówków drugiego poziomu · 31 linii, 369 słów
Podgląd SKILL.md
--- name: ab-test-analysis description: Rigorous A/B test statistical analysis. Use when analyzing experiment results, calculating statistical significance, checking for sample ratio mismatch, or validating test design before launch. --- # A/B Test Analysis # When to use - An experiment has finished and the team needs a ship / no-ship recommendation - Results look directionally positive but the team is unsure if they're statistically significant - A test has been running for weeks without a clear winner and someone needs to decide whether to continue - A new experiment needs sample-size planning before launch - Results are disputed and need a rigorous, documented analysis # Process 1. **Confirm test design** — verify the hypothesis, the control and treatment definitions, the randomisation unit (user/session/device), the primary metric, any guardrail metrics, and the target split ratio. 2. **Check for sample ratio mismatch (SRM)** — run a chi-square test on the actual vs. expected split. If SRM is detected, stop and investigate the randomisation pipeline before interpreting results. Use `scripts/ab_test_analyzer.py --check-srm`. 3. **Calculate per-variant metrics** — compute the rate (or mean) and 95% confidence interval for the primary metric in each variant. Document absolute and relative difference. 4. **Run the significance test** — execute a two-proportion z-test (for rates) or Welch's t-test (for means). Record z-score, p-value, and 95% CI for the effect. Use `references/statistical_tests_reference.md` if unsure which test applies. 5. **Check guardrail metrics** — run the same significance test for each guardrail metric. A significant degradation on any guardrail is a blocker regardless of primary metric results. 6. **Produce the recommendation** — synthesise SRM result, power, significance, and guardrail checks into a clear ship / no-ship / extend decision. Quantify the expected business impact if shipped. Record in `assets/ab_test_report_template.md`. # Inputs the skill needs - Test plan or hypothesis document (variant definitions, randomisation unit, primary metric) - Data with at minimum: user_id, variant assignment, primary metric outcome - Optional: guardrail metric values per user, daily aggregate data for temporal validity checks - Target split ratio (e.g., 50/50) - Minimum detectable effect or business threshold for "worth shipping" # Output - `scripts/ab_test_analyzer.py` — runs SRM check, significance test, power analysis, and guardrail checks from a CSV or summary stats input - `references/statistical_tests_reference.md` — which test to use and when - `references/ab_test_design_guide.md` — SRM causes, power planning, peeking and multiple testing - `assets/ab_test_report_template.md` — structured report: design, results, checks, recommendation, expected impact
Pliki w paczce (4)
- SKILL.md 3 KB
- assets/ab_test_report_template.md 2 KB
- references/ab_test_design_guide.md 3 KB
- scripts/ab_test_analyzer.py 7 KB
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · nimrodfisher/data-analytics-skills | 90 | MIT |
| The-Utopia-Studio/skills | 100 | Apache-2.0 |
| sofetizm/honestab | 100 | MIT |
| tarunccet/pm-skills | 100 | MIT |
| phuryn/pm-skills | 95 | MIT |
| holistics/skills | 90 | Apache-2.0 |
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki f85f45db9a74 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100ab-test-setup
Projektuje i analizuje testy A/B: wielkość próby, czas trwania testu i istotność statystyczną eksperymentów konwersji. - 100experiment
Odpowiada za analizę i cykl życia eksperymentów: projekt, moc statystyczna, analiza, interpretacja i monitoring testów A/B, z kontrolą SRM na początku. - 100experiment
Prowadzi pełny cykl eksperymentu: projekt, analiza mocy, analiza statystyczna, interpretacja, raport i monitoring testów A/B, zaczynając od bramki SRM. - 100ab-test-stats
Liczy istotność statystyczną testów A/B, wymaganą wielkość próby i czas trwania eksperymentu. - 90product-ab-testing
Projektuje i analizuje testy A/B: formułuje hipotezę, liczy wielkość próby, sprawdza istotność statystyczną i testy AA. - 100ab-test-setup
Projektuje, planuje i analizuje testy A/B z rygorem statystycznym: istotność, wielkość próby i czas trwania testu wielowymiarowego.