Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

evaluate-language-model

/evaluate-language-model

Projektuje powtarzalne ewaluacje modeli językowych: możliwości, jakości, zachowania, regresji lub bezpieczeństwa, z przypadkami i graderami, porównaniem z baseline i decyzją o zaliczeniu checkpointu.

Repozytorium
socket ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
26.08.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
6
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
2
Przestarzałość

Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Projektuje powtarzalne ewaluacje modeli językowych: możliwości, jakości, zachowania, regresji lub bezpieczeństwa, z przypadkami i graderami, porównaniem z baseline i decyzją o zaliczeniu checkpointu.

Oryginalny opis (EN)

Design repeatable language-model capability, quality, behavior, regression, or safety evaluations. Use when creating cases and graders, comparing a treatment with a baseline, or deciding whether a checkpoint passes.

Jak działa

  1. Define The Claim
  2. Build The Evaluation
  3. Choose The Harness
  4. Evidence Classes
  5. Resources
Sekcje z nagłówków SKILL.md, w oryginale · 39 linii, 304 słów
Podgląd SKILL.md
---
name: evaluate-language-model
description: Design repeatable language-model capability, quality, behavior, regression, or safety evaluations. Use when creating cases and graders, comparing a treatment with a baseline, or deciding whether a checkpoint passes.
---

# Evaluate Language Model

## Define The Claim

State the population, task, model artifact, prompt/template, decoding settings, and decision threshold. A benchmark score supports only the conditions it measured.

## Build The Evaluation

1. Separate development cases from a held-out decision set.
2. Give every case a stable ID, inputs, tags, expected behavior, and scoring method. Start from `assets/eval-cases.jsonl`.
3. Prefer executable or deterministic graders for exact structure, tests, schemas, and calculations.
4. For model judges, pin the judge model/revision, rubric, prompt, sampling settings, and parser. Calibrate against human-labeled examples and test order/position effects.
5. Record refusals, invalid outputs, timeouts, and grader failures as outcomes; do not silently drop them.
6. Run baseline and treatment on the same cases and settings.
7. Preserve per-case results, require identical case IDs for decision comparisons, then aggregate by meaningful slices as well as globally. Use partial comparisons only as explicitly labeled diagnostics.
8. Quantify uncertainty with repeated runs, confidence intervals, or paired tests appropriate to the metric.
9. Inspect regressions and disagreements before accepting the aggregate result.

## Choose The Harness

- Use [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) for supported standardized, mostly model-in/model-out academic benchmarks such as MMLU; pin the task and harness revisions.
- Use [Inspect AI](https://github.com/UKGovernmentBEIS/inspect_ai) when the evaluation needs sandboxed code/tools, multi-step state, agent behavior, explicit scorers, or stronger execution isolation.
- Use a small project-native runner when neither framework adds useful capability. Preserve the same case, grader, provenance, and raw-result contract.

## Evidence Classes

- Configuration validation: cases and graders parse.
- Smoke evidence: a small subset completes end to end.
- Evaluation evidence: the frozen set completes with retained per-case outputs.
- Decision evidence: thresholds, uncertainty, regressions, and limitations support the stated choice.

## Resources

- `assets/eval-cases.jsonl`: starter case schema.
- `assets/evaluation-report.md`: comparison report template.
- `references/evaluation-methods.md`: grader and uncertainty rules.
- `scripts/compare-eval-runs.fsx`: paired JSONL comparison.
Pliki w paczce (6)
  • SKILL.md 3 KB
  • agents/openai.yaml 1 KB
  • assets/eval-cases.jsonl 1 KB
  • assets/evaluation-report.md 1 KB
  • references/evaluation-methods.md 1 KB
  • scripts/compare-eval-runs.fsx 4 KB

Wersje

W bazie nie ma innych skilli o nazwie evaluate-language-model.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki a269f6987ede (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100agent-evaluation
    Projektuje powtarzalne ewaluacje agentów AI: reprezentatywne zestawy zadań, jawne rubryki, dobrane graderzy, punkty odniesienia, bramki regresji i analiza awarii.
  • 100harness-eval
    Pisze i uruchamia ewaluacje, które dowodzą, że harness działa lepiej niż bez niego, w formacie claude plugin eval z graderami i kosztami.
  • 100anthropic-evaluations
    Pomaga tworzyć ewaluacje i zestawy testów dla agentów: oceniający, benchmarki i zapewnianie jakości agentów kodujących, konwersacyjnych i badawczych.
  • 100prompt-engineer
    Projektuje, optymalizuje, testuje i ocenia prompty dla dużych modeli językowych w systemach produkcyjnych.
  • 100prompt-engineer
    Projektuje, optymalizuje, testuje i ocenia prompty dla dużych modeli językowych w systemach produkcyjnych.
  • 84create-eval-set
    Tworzy plik CSV z zestawem testowym do zakładki Evaluate w Copilot Studio: czyta tematy, instrukcje i źródła wiedzy agenta i generuje przypadki z odpowiednimi graderami.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.