ml-problem-framing
/ml-problem-framing
Ujmuje problem ML wokół decyzji, mierzalnego celu i uczciwych kosztów błędów, zanim ktokolwiek zacznie pracę z modelami.
- Autor
- Amey-Thakur ↗
- Repozytorium
- AI-SKILLS ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 05.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Ujmuje problem ML wokół decyzji, mierzalnego celu i uczciwych kosztów błędów, zanim ktokolwiek zacznie pracę z modelami.
Oryginalny opis (EN)
Frame ML problems around a decision, a measurable target, and honest error costs before touching models. Use when scoping an ML project or reviewing whether one should exist.
Jak działa
- Method
- Boundaries
Podgląd SKILL.md
---
name: ml-problem-framing
description: Frame ML problems around a decision, a measurable target, and honest error costs before touching models. Use when scoping an ML project or reviewing whether one should exist.
---
# ML problem framing
Most failed ML projects were framed wrong, not modeled wrong. The frame
is: what decision changes, what exactly is predicted, what does each
kind of error cost, and would something simpler make the same decision.
## Method
1. **Start from the decision, not the data.** Name the action the
prediction triggers ("flag order for review", "rank these items",
"set this price") and who or what consumes it. A prediction nobody
acts on is a dashboard; if the action is unclear, stop here.
2. **Specify the target variable ruthlessly.** "Churn" becomes
"no login within 30 days of day X, for accounts active in the
prior 60". Definition choices (window, population, exclusions)
change the problem more than any model choice will; write them
down and get the domain owner to sign (see warehouse-modeling on
metric definitions).
3. **Verify the label's availability and honesty.** When does ground
truth arrive (instant, 30 days, never)? Is it censored (you only
see fraud you caught), biased by the current process (loan
defaults observed only for approved loans), or drifting? Label
latency bounds your retraining loop; label bias caps what any
model can learn.
4. **Price the errors asymmetrically.** False positive cost vs false
negative cost, in money or user harm, from the decision owner.
This drives the metric (see model-evaluation), the operating
threshold, and often the architecture (a cheap model plus human
review can beat an expensive autonomous one).
5. **Establish the non-ML baseline first.** The current heuristic,
a rules list, a single feature threshold, or "predict the
historical mean" (see ml-baselines). The project's real question
is the delta over this baseline at the decision, not the model's
absolute score; sometimes the baseline wins and the project
should become three IF statements.
6. **Define success upstream and downstream.** Offline: metric and
threshold on a proper holdout (see train-test-discipline).
Online: the business metric the decision should move, measured by
experiment (see ab-test-design), plus guardrails (latency budget,
fairness slices, override rate). Agree on the kill criteria
before building; projects without them run on sunk cost.
## Boundaries
- Problems needing 100% correctness, full explainability by law, or
where errors are catastrophic and unauditable are rules-and-review
territory, not ML.
- Insufficient or unlabelable data is a data-collection project
first; committing model timelines before the label pipeline exists
reverses the dependency.
- Frame once, revisit at every scope change; silent target drift
("churn now means downgrade too") invalidates every past
evaluation.
Wersje
W bazie nie ma innych skilli o nazwie ml-problem-framing.
Migawka bazy z 13.11.2026 · wersja paczki 93b9943bd9bc (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100framing-ml-problems
Opisuje problem danych i ML przed modelowaniem: decyzję, koszt błędu, typ zadania, cel i miarę sukcesu. - 100problem-framing-canvas
Prowadzi zespoły przez Problem Framing Canvas organizacji MITRE, aby uzyskać wyraźniejszy opis problemu, zanim zacznie się szukać rozwiązań. - 90problem-framing
Zamienia brief biznesowy, PRD lub opis danych w jednostronicowy ANALYSIS_MANIFEST.md przed modelowaniem: cel, metryka, baseline i koszt błędów. - 100021-problem-framing
Formułuje problem przed głębszą analizą: opis problemu, stan obecny, stan docelowy, interesariuszy i kryteria sukcesu. - 90problem-framing
Pomaga zespołowi uzgodnić problem, zanim zacznie szukać rozwiązań, rozplątuje objawy i prawdziwe potrzeby oraz wydobywa założenia przed pracą projektową. - 100problem-framing
Doprecyzowuje niejasny problem w bolączki użytkowników, przeformułowane pytania („jak moglibyśmy”) i uszeregowane szanse, zanim zaczną się rozwiązania.