experiment-tracking
/experiment-tracking
Rejestruje kod, dane, konfigurację i wyniki każdego przebiegu treningu, aby modele były odtwarzalne, a porównania rzetelne, np. przy ustalaniu, który przebieg dał model produkcyjny.
- Autor
- Amey-Thakur ↗
- Repozytorium
- AI-SKILLS ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 05.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Rejestruje kod, dane, konfigurację i wyniki każdego przebiegu treningu, aby modele były odtwarzalne, a porównania rzetelne, np. przy ustalaniu, który przebieg dał model produkcyjny.
Oryginalny opis (EN)
Record every training run's code, data, config, and results so any model is reproducible and comparisons are honest. Use when setting up ML experiment infrastructure or untangling which run produced the prod model.
Jak działa
- Method
- Boundaries
Podgląd SKILL.md
---
name: experiment-tracking
description: Record every training run's code, data, config, and results so any model is reproducible and comparisons are honest. Use when setting up ML experiment infrastructure or untangling which run produced the prod model.
---
# Experiment tracking
The test of tracking: given the model file in production, can you name
the exact code, data, and config that produced it, and rerun it? If
not, you have artifacts, not experiments.
## Method
1. **Log the full provenance tuple per run.** Code version (commit
hash, plus a dirty-tree warning), data version (dataset snapshot
id or content hash, never "the table as of whenever"), full
resolved config (every hyperparameter and feature flag, not just
the ones you changed), environment (library versions, hardware),
and seeds. Automate capture in the training entrypoint; manual
logging lasts two weeks.
2. **Version data like code.** Immutable dataset snapshots
(partition-pinned queries, content-addressed files, or a data
versioning tool) referenced by id; "same query, different day"
is a different dataset (see data-pipeline-design). The most common
irreproducibility is silent upstream data change wearing the same
table name.
3. **Log metrics with their evaluation context.** The metric, the
split it was computed on, the slice results, and the threshold
(see model-evaluation); training curves for iterative models.
A bare "auc: 0.91" without which-split is future confusion,
possibly future fraud.
4. **Store artifacts, register the winners.** Model binaries,
preprocessing/pipeline objects, feature lists (see
feature-engineering versioning), and evaluation reports attached
to the run; promotion to staging/production goes through a model
registry entry pointing back at its run. The registry-to-run link
is what makes "what is prod running" a lookup instead of a
forensic project (see model-deployment).
5. **Make comparisons apples-to-apples by construction.** Compare
runs only on identical data version + evaluation protocol; the
tracking UI's job is filtering runs by those fields. When the
dataset or metric changes, rerun the baseline under the new regime
rather than comparing across regimes (see ml-baselines).
6. **Name and note for future archaeologists.** Run names carry the
hypothesis ("wider-window-features"), a one-line "why" note, and
tags for the project/milestone; the deleted-after-lunch experiment
you cannot recall is a week someone re-spends. Keep failed runs;
negative results steer the search (see decision-journals for the
same discipline on decisions).
## Boundaries
- Tracking records what happened; it does not bless it. A tracked run
with a leaky split reproduces the leak perfectly (see
train-test-discipline).
- Notebook-first exploration resists capture; graduate anything
worth comparing into the tracked training entrypoint, and treat
untracked results as anecdotes.
- Tool choice (MLflow/W&B-class) matters less than the discipline;
adopt the lightest tool the team will actually keep using (see
managed-vs-selfhosted).
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · Amey-Thakur/AI-SKILLS | 90 | MIT |
| SkillMedev/skills | 100 | MIT |
| selvarajmurugesan90/ops-engineering-skills | 100 | Apache-2.0 |
| param087/agent-ml-skills | 100 | MIT |
Migawka bazy z 13.11.2026 · wersja paczki a13d9cc57c28 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100pytorch-patterns
Pomaga pisać treningi PyTorch, architektury modeli i ładowanie danych według dobrych praktyk, aby przebieg dał się odtworzyć. - 100model-training-engineering
Prowadzi lub restartuje eksperyment trenowania modelu od interpretacji źródeł i transformacji bez wycieku przez modele bazowe i konfigurację treningu po monitorowane uruchomienie i uczciwe porównanie wyników. - 100analyze-experiment-results
Analizuje wyniki eksperymentu: oceny z uruchomienia zbioru danych, odsetek sukcesów i porażek, wyniki dla poszczególnych elementów i głębokie przyjrzenie się wydajności. - 100mlops-mlflow-experiment-tracking
Zapisuje w MLflow hiperparametry, metryki straty, krzywe ewaluacji i artefakty modeli podczas treningu. - 100may-config
Ustawia modele dla ról MAY, sprawdza, który model obsługuje każdego pracownika, i zmienia je w Claude Code, Codex lub Pi. - 90experiment-tracking-review
Przegląda kod treningowy ML, sprawdzając, czy przebieg da się później odtworzyć: hiperparametry, metryki, odwołania do danych i artefakty muszą być zapisane w rejestrze i nie ograniczać się do wypisania na stdout.