Przejdź do treści
Biblioteka skilli
Programowanie · Testowanie

flake-triage

/flake-triage

Diagnozuje niestabilny, przerywany lub przekraczający limit czasu test Go/chromedp przed jakąkolwiek zmianą w nim.

Repozytorium
agnt ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
23.10.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 23.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Diagnozuje niestabilny, przerywany lub przekraczający limit czasu test Go/chromedp przed jakąkolwiek zmianą w nim.

Oryginalny opis (EN)

Diagnose a failing, flaky, or timing-out Go/chromedp test before changing it. Use when: test flake, intermittent failure, timeout, passes alone fails in suite.

Jak działa

  1. 0. Read what already ran
  2. 1. Where did it fail?
  3. 2. Reproduce the real trigger
  4. 3. Real-Chrome stalls: fixable or starvation?
  5. 4. Before calling it fixed
Sekcje z nagłówków SKILL.md, w oryginale · 44 linii, 493 słów
Podgląd SKILL.md
---
name: flake-triage
description: "Diagnose a failing, flaky, or timing-out Go/chromedp test before changing it. Use when: test flake, intermittent failure, timeout, passes alone fails in suite."
---

# Flake triage

Classify the failure before touching code or deadlines. Most "flakes" in this repo are harness artifacts or data-loss races, not scheduler load.

## 0. Read what already ran

Read `.tman/<alias>.fail.log` (e.g. `.tman/test.fail.log`) at the repo root. Do not rerun the whole suite to find the failure.

## 1. Where did it fail?

| Signal | Class | Next step |
|---|---|---|
| Failed under parallel `go test ./...` only | Cross-package port/socket contention | Rerun under `-p 1`. Green → harness artifact, not a product bug. |
| Fails at 0.00s: `bootstrap failed`, `daemon already running`, `address already in use` | Shared global resource (socket, port, lock file) falling through to a production default | Reproduce with **two concurrent test binaries**. `-p 1` and isolation both hide it. Fix the helper's hermetic default; never widen a deadline. |
| Empty or missing result for the full deadline | Data-loss race (e.g. fd closed before reader drained) | Add a completion barrier, then lower the deadline. |
| Late result, ordering/count assertion off | Wall-clock premise | Rewrite the assertion against recorded timestamps (`testing-timing-assertion-flakes.md`). |
| `cmd/agnt` red on a task that never touched it | Known strays: `cmd/agnt/AGENTS.md` written by a spawned binary, port 5173 contention | Delete the stray, retry once. |
| Real-Chrome step stalls | Injection bug or renderer starvation | Step 3. |

## 2. Reproduce the real trigger

- Isolate and intensify the *suspected* test: tight loop (`-count=N -run '^Name$'`) plus induced CPU load (`stress`).
- A flake that needs sibling test binaries never reproduces in isolation. Test the condition that actually differs.
- Validate one `go test` at a time; concurrent runs pollute each other.
- Verify a fix under the same induced load that reproduced it. One clean run proves nothing.
- Spawned-binary tests that only misbehave with a controlling terminal: run under `script -qec '<go test …>' /dev/null`. A TTY-less run can skip and give a false clean.

## 3. Real-Chrome stalls: fixable or starvation?

Attach to the target and log browser-process CDP events (`Target.TargetInfoChanged`), which do not depend on page JS.

- Navigation commits late or the relay attaches late → injection/lifecycle ordering bug. Fix it.
- Navigation commits in under 1s but the renderer does not run inline script for seconds, and a second trace under the same load stalls at a different stage → CPU starvation.
- Doubling the budget: a real ordering bug converges to ~0% failures; starvation does not.

Starvation outcome: record it in `docs/testing-flake-registry.md` with the CDP evidence, keep the test `chromee2e`-tagged, never weaken assertions, never cherry-pick a clean run.

## 4. Before calling it fixed

- Mutation-check: revert the fix, confirm the test fails on the behavioural assertion.
- If not reproduced, only a defensive fix that mirrors a proven sibling pattern is allowed, labelled non-reproduced-defensive.
- A `-race`-only hook failure on a GREEN commit may bypass the hook only under Case B in `testing-parallel-package-flakes.md`.

Wersje

W bazie nie ma innych skilli o nazwie flake-triage.

Migawka bazy z 13.11.2026 · wersja paczki 5c47daef8bdd (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100triage-ci-flake
    Analizuje testy, które padają na głównej gałęzi po scaleniu PR albo są niestabilne, i zbiera błędy z wielu PR.
  • 100qa-investigation
    Dochodzi do przyczyny błędu testu, ustala czy jest niestabilny czy deterministyczny i dokumentuje, dlaczego test zawodzi.
  • 100check-upstream-flake
    Sprawdza w bazie LUCI Analysis Chromium, czy niestabilny test jest znaną niestabilnością upstream, i podaje statystyki, werdykt oraz rekomendację dla plików filtrów.
  • 100flaky-test-hunting
    Potwierdza i precyzyjnie wskazuje niestabilny test przed poprawką: powtórki, szukanie ziarna, bisekcja kolejności i izolacja.
  • 100flaky-test-diagnoser
    Systematycznie diagnozuje niestabilny test przez eksperymenty wielokrotnych uruchomień, testy izolacji, permutacje kolejności i analizę czasu.
  • 100flaky-test-fix
    Bada i naprawia niestabilny test wskazany adresem nieudanego przebiegu CI lub nazwą, usuwając przyczynę zamiast pomijać test lub ponawiać jego uruchomienie.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.