evaluate-language-model
/evaluate-language-model
Projektuje powtarzalne ewaluacje modeli językowych: możliwości, jakości, zachowania, regresji lub bezpieczeństwa, z przypadkami i graderami, porównaniem z baseline i decyzją o zaliczeniu checkpointu.
- Autor
- gaelic-ghost ↗
- Repozytorium
- socket ↗
- Licencja
- Apache-2.0
- Ostatnia zmiana repozytorium
- 26.08.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 6
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Projektuje powtarzalne ewaluacje modeli językowych: możliwości, jakości, zachowania, regresji lub bezpieczeństwa, z przypadkami i graderami, porównaniem z baseline i decyzją o zaliczeniu checkpointu.
Oryginalny opis (EN)
Design repeatable language-model capability, quality, behavior, regression, or safety evaluations. Use when creating cases and graders, comparing a treatment with a baseline, or deciding whether a checkpoint passes.
Jak działa
- Define The Claim
- Build The Evaluation
- Choose The Harness
- Evidence Classes
- Resources
Podgląd SKILL.md
--- name: evaluate-language-model description: Design repeatable language-model capability, quality, behavior, regression, or safety evaluations. Use when creating cases and graders, comparing a treatment with a baseline, or deciding whether a checkpoint passes. --- # Evaluate Language Model ## Define The Claim State the population, task, model artifact, prompt/template, decoding settings, and decision threshold. A benchmark score supports only the conditions it measured. ## Build The Evaluation 1. Separate development cases from a held-out decision set. 2. Give every case a stable ID, inputs, tags, expected behavior, and scoring method. Start from `assets/eval-cases.jsonl`. 3. Prefer executable or deterministic graders for exact structure, tests, schemas, and calculations. 4. For model judges, pin the judge model/revision, rubric, prompt, sampling settings, and parser. Calibrate against human-labeled examples and test order/position effects. 5. Record refusals, invalid outputs, timeouts, and grader failures as outcomes; do not silently drop them. 6. Run baseline and treatment on the same cases and settings. 7. Preserve per-case results, require identical case IDs for decision comparisons, then aggregate by meaningful slices as well as globally. Use partial comparisons only as explicitly labeled diagnostics. 8. Quantify uncertainty with repeated runs, confidence intervals, or paired tests appropriate to the metric. 9. Inspect regressions and disagreements before accepting the aggregate result. ## Choose The Harness - Use [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) for supported standardized, mostly model-in/model-out academic benchmarks such as MMLU; pin the task and harness revisions. - Use [Inspect AI](https://github.com/UKGovernmentBEIS/inspect_ai) when the evaluation needs sandboxed code/tools, multi-step state, agent behavior, explicit scorers, or stronger execution isolation. - Use a small project-native runner when neither framework adds useful capability. Preserve the same case, grader, provenance, and raw-result contract. ## Evidence Classes - Configuration validation: cases and graders parse. - Smoke evidence: a small subset completes end to end. - Evaluation evidence: the frozen set completes with retained per-case outputs. - Decision evidence: thresholds, uncertainty, regressions, and limitations support the stated choice. ## Resources - `assets/eval-cases.jsonl`: starter case schema. - `assets/evaluation-report.md`: comparison report template. - `references/evaluation-methods.md`: grader and uncertainty rules. - `scripts/compare-eval-runs.fsx`: paired JSONL comparison.
Pliki w paczce (6)
- SKILL.md 3 KB
- agents/openai.yaml 1 KB
- assets/eval-cases.jsonl 1 KB
- assets/evaluation-report.md 1 KB
- references/evaluation-methods.md 1 KB
- scripts/compare-eval-runs.fsx 4 KB
Wersje
W bazie nie ma innych skilli o nazwie evaluate-language-model.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki a269f6987ede (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100agent-evaluation
Projektuje powtarzalne ewaluacje agentów AI: reprezentatywne zestawy zadań, jawne rubryki, dobrane graderzy, punkty odniesienia, bramki regresji i analiza awarii. - 100harness-eval
Pisze i uruchamia ewaluacje, które dowodzą, że harness działa lepiej niż bez niego, w formacie claude plugin eval z graderami i kosztami. - 100anthropic-evaluations
Pomaga tworzyć ewaluacje i zestawy testów dla agentów: oceniający, benchmarki i zapewnianie jakości agentów kodujących, konwersacyjnych i badawczych. - 100prompt-engineer
Projektuje, optymalizuje, testuje i ocenia prompty dla dużych modeli językowych w systemach produkcyjnych. - 100prompt-engineer
Projektuje, optymalizuje, testuje i ocenia prompty dla dużych modeli językowych w systemach produkcyjnych. - 84create-eval-set
Tworzy plik CSV z zestawem testowym do zakładki Evaluate w Copilot Studio: czyta tematy, instrukcje i źródła wiedzy agenta i generuje przypadki z odpowiednimi graderami.