Przejdź do treści
Biblioteka skilli
Programowanie · Testowanie

flaky-test-hunter

/flaky-test-hunter

Wyszukuje niestabilne testy, porównując raporty JUnit XML z kilku przebiegów CI, i wskazuje kandydatów do kwarantanny oraz przyczyny.

Licencja
MIT
Ostatnia zmiana repozytorium
10.11.2026

Ocena i bezpieczeństwo

95/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść30 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
2
Skrypty
1
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 10.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co sprawdzić przed instalacją
  • 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.

Skrypty: scripts/flaky_tests.py

Co robi i kiedy

Wyszukuje niestabilne testy, porównując raporty JUnit XML z kilku przebiegów CI, i wskazuje kandydatów do kwarantanny oraz przyczyny.

Oryginalny opis (EN)

Find flaky tests by comparing JUnit XML reports from several CI runs of the same code: pass/fail flips, flip rate, failure messages, and a quarantine shortlist, using a bundled stdlib script; then diagnose likely causes (timing, order, shared data, environment). Use when CI is red then green on retry, or the team stopped trusting the pipeline.

Jak działa

  1. Collect
  2. Run
  3. Diagnose each flaky test
  4. Output
Sekcje z nagłówków SKILL.md, w oryginale · 24 linii, 192 słów
Podgląd SKILL.md
---
name: flaky-test-hunter
description: "Find flaky tests by comparing JUnit XML reports from several CI runs of the same code: pass/fail flips, flip rate, failure messages, and a quarantine shortlist, using a bundled stdlib script; then diagnose likely causes (timing, order, shared data, environment). Use when CI is red then green on retry, or the team stopped trusting the pipeline."
---

# Flaky test hunter

## Collect
Download the JUnit XML of 5-20 runs (same commit ideally, or a recent range) into one folder, one sub-folder or file per run, named so they sort chronologically.

## Run
```bash
python "${CLAUDE_SKILL_DIR}/scripts/flaky_tests.py" runs/ --min-runs 3 --format md
```
It lists every test that both passed and failed, with runs, failures, flips (status changes between consecutive runs), flip rate, and the most frequent failure message.

## Diagnose each flaky test
| Clue | Likely cause | Fix |
|---|---|---|
| Timeout / "element not found" | Missing wait condition, slow env | Wait on state, not time |
| Fails only in full suite | Order dependence, shared data | Isolate data, reset state |
| Fails around midnight / month-end | Clock / time zone | Freeze the clock |
| Different message each time | Race condition in the product | Log a product bug |
| Only on one agent | Environment | Fix the agent image |

## Output
Script table, then per test: cause hypothesis, evidence, fix, and whether to **quarantine** (tag + ticket + owner + deadline), never silently skip.
Pliki w paczce (2)
  • SKILL.md 1 KB
  • scripts/flaky_tests.py 5 KB

Wersje

W bazie nie ma innych skilli o nazwie flaky-test-hunter.

Migawka bazy z 13.11.2026 · wersja paczki da93ca0fe8a6 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100qa-flaky-test-hunter
    Diagnozuje niestabilne testy: klasyfikuje przyczynę jako czasową, kolejnościową, zasobową lub zewnętrzną, izoluje je i opisuje plan naprawy.
  • 95wicked-garden-qe-flaky-test-hunter
    Wykrywa niestabilne testy, analizuje ich historię i klasyfikuje przyczyny, nie traktując ponownych prób jako poprawki.
  • 100flaky-test-management
    Pomaga wykrywać, triażować, szukać przyczyn, poddawać kwarantannie i eliminować niestabilne testy, w tym strategię ponowień i testy przechodzące lokalnie, ale padające w CI.
  • 90Flaky Test Detector
    Wykrywa, analizuje i naprawia niestabilne testy w dowolnym runnerze, zwłaszcza gdy przechodzą lokalnie, a w CI padają.
  • 100analyzing-test-flakiness
    Znajduje niestabilne testy w projekcie Qase, czyli takie, które raz przechodzą, a raz padają, i odróżnia je od testów po prostu zepsutych, np. do kwarantanny.
  • 100flaky-test-diagnosis
    Diagnozuje niestabilne testy przez powtarzanie, klasyfikuje przyczynę, czyli czas, kolejność, stan wspólny lub środowisko, i naprawia albo izoluje.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.