training-pipeline-debugging
/training-pipeline-debugging
Diagnozuje błędy treningu ML: straty NaN, brak pamięci, niezgodne kształty i model, który nie mieści się nawet na jednym batchu.
- Autor
- yeaight7 ↗
- Repozytorium
- agent-powerups ↗
- Licencja
- Apache-2.0
- Ostatnia zmiana repozytorium
- 27.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 27.09.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Diagnozuje błędy treningu ML: straty NaN, brak pamięci, niezgodne kształty i model, który nie mieści się nawet na jednym batchu.
Oryginalny opis (EN)
Use when an ML training run fails or misbehaves -- NaN losses, out-of-memory errors, shape mismatches, or a model that cannot fit even a single batch.
Jak działa
- Purpose
- When to Use
- Inputs
- Workflow
- Output
- Verification
- Failure Modes
Podgląd SKILL.md
--- name: training-pipeline-debugging description: Use when an ML training run fails or misbehaves -- NaN losses, out-of-memory errors, shape mismatches, or a model that cannot fit even a single batch. --- ## Purpose ML training bugs are often silent mathematical errors rather than explicit code crashes. This protocol localizes the standard failure classes quickly. ## When to Use - Loss becomes NaN or diverges - Training crashes with out-of-memory errors - Shape/dimension errors at matrix multiplications or loss computation - The pipeline runs but the model never learns ## Inputs - The failing training script and its error output or loss curve ## Workflow 1. **Run the overfit test first**: fit a single batch of ~10 examples. If the model cannot achieve near-zero loss on a single batch, the pipeline is fundamentally broken — do not debug full runs until the single-batch test passes. 2. **NaN losses** — check: - Learning rate too high? - Missing data (NaNs in input)? - Log/Exp/Divide-by-zero in custom loss functions? - Exploding gradients (clip gradients)? 3. **OOM (out of memory)**: - Reduce batch size. - Check for memory leaks in the training loop (e.g., accumulating history across epochs without `.detach()`). 4. **Shape mismatches**: - Add temporary print statements or assertions on `tensor.shape` before matrix multiplications and loss calculations. ## Output - The identified failure class and its specific fix, or a single-batch reproduction showing exactly where the pipeline breaks ## Verification - [ ] Single-batch overfit test run before any full-run debugging - [ ] For NaN: learning rate, input NaNs, unsafe math, and gradient explosion all checked - [ ] For OOM: batch size and training-loop accumulation both checked - [ ] For shapes: assertions placed before matmul/loss sites - [ ] Fix validated by re-running the previously failing case ## Failure Modes - **Debugging full runs first** — hours per iteration; the single-batch test gives answers in minutes. - **Treating NaN as random** — NaN losses have a small set of causes; check all four systematically instead of restarting with a lower LR. - **Batch-size-only OOM fixes** — shrinking the batch hides a loop leak that will OOM again later; check accumulation too. - **Leftover instrumentation** — remove temporary shape prints/assertions once the fix is validated.
Wersje
W bazie nie ma innych skilli o nazwie training-pipeline-debugging.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki c7b3ee8befe5 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100training-check
Okresowo sprawdza metryki WandB podczas treningu i wykrywa NaN, rozbieganie straty oraz bezczynne karty GPU, zanim spalą godziny. - 100training-check
Cyklicznie sprawdza metryki WandB w trakcie treningu, aby wcześnie wychwycić NaN, rozbieżność straty i bezczynne GPU. - 100ml-debugging
Diagnozuje przypadki, gdy model się nie uczy, strata to NaN, metryki wyglądają zbyt dobrze lub źle albo trenowanie jest niestabilne, według drzewa decyzyjnego dla danych, optymalizacji i generalizacji. - 100aris-training-check
Okresowo sprawdza metryki WandB podczas treningu, aby wcześnie wychwycić NaN, rozbieżność straty i bezczynne GPU, zanim zmarnują godziny obliczeń na wadliwy przebieg. - 100debug-training
Sprawdza po kolei, czemu sieć neuronowa się nie uczy, uczy się podejrzanie dobrze albo ma dziwną stratę, np. NaN. - 90fit-train
Projektuje pipeline treningu modelu: dobór algorytmu, walidacja krzyżowa i serializacja, np. przy decyzji, jakiego algorytmu użyć.