Przejdź do treści
Biblioteka skilli
AI i agenci · Analiza

training-pipeline-debugging

/training-pipeline-debugging

Diagnozuje błędy treningu ML: straty NaN, brak pamięci, niezgodne kształty i model, który nie mieści się nawet na jednym batchu.

Repozytorium
agent-powerups ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
27.09.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 27.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Diagnozuje błędy treningu ML: straty NaN, brak pamięci, niezgodne kształty i model, który nie mieści się nawet na jednym batchu.

Oryginalny opis (EN)

Use when an ML training run fails or misbehaves -- NaN losses, out-of-memory errors, shape mismatches, or a model that cannot fit even a single batch.

Jak działa

  1. Purpose
  2. When to Use
  3. Inputs
  4. Workflow
  5. Output
  6. Verification
  7. Failure Modes
Sekcje z nagłówków SKILL.md, w oryginale · 49 linii, 343 słów
Podgląd SKILL.md
---
name: training-pipeline-debugging
description: Use when an ML training run fails or misbehaves -- NaN losses, out-of-memory errors, shape mismatches, or a model that cannot fit even a single batch.
---

## Purpose

ML training bugs are often silent mathematical errors rather than explicit code crashes. This protocol localizes the standard failure classes quickly.

## When to Use

- Loss becomes NaN or diverges
- Training crashes with out-of-memory errors
- Shape/dimension errors at matrix multiplications or loss computation
- The pipeline runs but the model never learns

## Inputs

- The failing training script and its error output or loss curve

## Workflow

1. **Run the overfit test first**: fit a single batch of ~10 examples. If the model cannot achieve near-zero loss on a single batch, the pipeline is fundamentally broken — do not debug full runs until the single-batch test passes.
2. **NaN losses** — check:
   - Learning rate too high?
   - Missing data (NaNs in input)?
   - Log/Exp/Divide-by-zero in custom loss functions?
   - Exploding gradients (clip gradients)?
3. **OOM (out of memory)**:
   - Reduce batch size.
   - Check for memory leaks in the training loop (e.g., accumulating history across epochs without `.detach()`).
4. **Shape mismatches**:
   - Add temporary print statements or assertions on `tensor.shape` before matrix multiplications and loss calculations.

## Output

- The identified failure class and its specific fix, or a single-batch reproduction showing exactly where the pipeline breaks

## Verification

- [ ] Single-batch overfit test run before any full-run debugging
- [ ] For NaN: learning rate, input NaNs, unsafe math, and gradient explosion all checked
- [ ] For OOM: batch size and training-loop accumulation both checked
- [ ] For shapes: assertions placed before matmul/loss sites
- [ ] Fix validated by re-running the previously failing case

## Failure Modes

- **Debugging full runs first** — hours per iteration; the single-batch test gives answers in minutes.
- **Treating NaN as random** — NaN losses have a small set of causes; check all four systematically instead of restarting with a lower LR.
- **Batch-size-only OOM fixes** — shrinking the batch hides a loop leak that will OOM again later; check accumulation too.
- **Leftover instrumentation** — remove temporary shape prints/assertions once the fix is validated.

Wersje

W bazie nie ma innych skilli o nazwie training-pipeline-debugging.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki c7b3ee8befe5 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100training-check
    Okresowo sprawdza metryki WandB podczas treningu i wykrywa NaN, rozbieganie straty oraz bezczynne karty GPU, zanim spalą godziny.
  • 100training-check
    Cyklicznie sprawdza metryki WandB w trakcie treningu, aby wcześnie wychwycić NaN, rozbieżność straty i bezczynne GPU.
  • 100ml-debugging
    Diagnozuje przypadki, gdy model się nie uczy, strata to NaN, metryki wyglądają zbyt dobrze lub źle albo trenowanie jest niestabilne, według drzewa decyzyjnego dla danych, optymalizacji i generalizacji.
  • 100aris-training-check
    Okresowo sprawdza metryki WandB podczas treningu, aby wcześnie wychwycić NaN, rozbieżność straty i bezczynne GPU, zanim zmarnują godziny obliczeń na wadliwy przebieg.
  • 100debug-training
    Sprawdza po kolei, czemu sieć neuronowa się nie uczy, uczy się podejrzanie dobrze albo ma dziwną stratę, np. NaN.
  • 90fit-train
    Projektuje pipeline treningu modelu: dobór algorytmu, walidacja krzyżowa i serializacja, np. przy decyzji, jakiego algorytmu użyć.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.