flaky-test-hunter
/flaky-test-hunter
Wyszukuje niestabilne testy, porównując raporty JUnit XML z kilku przebiegów CI, i wskazuje kandydatów do kwarantanny oraz przyczyny.
- Autor
- RobinBeraud ↗
- Repozytorium
- claude-qa-skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 10.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 2
- Skrypty
- 1
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 10.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
- 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.
Skrypty: scripts/flaky_tests.py
Co robi i kiedy
Wyszukuje niestabilne testy, porównując raporty JUnit XML z kilku przebiegów CI, i wskazuje kandydatów do kwarantanny oraz przyczyny.
Oryginalny opis (EN)
Find flaky tests by comparing JUnit XML reports from several CI runs of the same code: pass/fail flips, flip rate, failure messages, and a quarantine shortlist, using a bundled stdlib script; then diagnose likely causes (timing, order, shared data, environment). Use when CI is red then green on retry, or the team stopped trusting the pipeline.
Jak działa
- Collect
- Run
- Diagnose each flaky test
- Output
Podgląd SKILL.md
---
name: flaky-test-hunter
description: "Find flaky tests by comparing JUnit XML reports from several CI runs of the same code: pass/fail flips, flip rate, failure messages, and a quarantine shortlist, using a bundled stdlib script; then diagnose likely causes (timing, order, shared data, environment). Use when CI is red then green on retry, or the team stopped trusting the pipeline."
---
# Flaky test hunter
## Collect
Download the JUnit XML of 5-20 runs (same commit ideally, or a recent range) into one folder, one sub-folder or file per run, named so they sort chronologically.
## Run
```bash
python "${CLAUDE_SKILL_DIR}/scripts/flaky_tests.py" runs/ --min-runs 3 --format md
```
It lists every test that both passed and failed, with runs, failures, flips (status changes between consecutive runs), flip rate, and the most frequent failure message.
## Diagnose each flaky test
| Clue | Likely cause | Fix |
|---|---|---|
| Timeout / "element not found" | Missing wait condition, slow env | Wait on state, not time |
| Fails only in full suite | Order dependence, shared data | Isolate data, reset state |
| Fails around midnight / month-end | Clock / time zone | Freeze the clock |
| Different message each time | Race condition in the product | Log a product bug |
| Only on one agent | Environment | Fix the agent image |
## Output
Script table, then per test: cause hypothesis, evidence, fix, and whether to **quarantine** (tag + ticket + owner + deadline), never silently skip.
Pliki w paczce (2)
- SKILL.md 1 KB
- scripts/flaky_tests.py 5 KB
Wersje
W bazie nie ma innych skilli o nazwie flaky-test-hunter.
Migawka bazy z 13.11.2026 · wersja paczki da93ca0fe8a6 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100qa-flaky-test-hunter
Diagnozuje niestabilne testy: klasyfikuje przyczynę jako czasową, kolejnościową, zasobową lub zewnętrzną, izoluje je i opisuje plan naprawy. - 95wicked-garden-qe-flaky-test-hunter
Wykrywa niestabilne testy, analizuje ich historię i klasyfikuje przyczyny, nie traktując ponownych prób jako poprawki. - 100flaky-test-management
Pomaga wykrywać, triażować, szukać przyczyn, poddawać kwarantannie i eliminować niestabilne testy, w tym strategię ponowień i testy przechodzące lokalnie, ale padające w CI. - 90Flaky Test Detector
Wykrywa, analizuje i naprawia niestabilne testy w dowolnym runnerze, zwłaszcza gdy przechodzą lokalnie, a w CI padają. - 100analyzing-test-flakiness
Znajduje niestabilne testy w projekcie Qase, czyli takie, które raz przechodzą, a raz padają, i odróżnia je od testów po prostu zepsutych, np. do kwarantanny. - 100flaky-test-diagnosis
Diagnozuje niestabilne testy przez powtarzanie, klasyfikuje przyczynę, czyli czas, kolejność, stan wspólny lub środowisko, i naprawia albo izoluje.