Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

agent-evaluation

/agent-evaluation

Projektuje i uruchamia powtarzalne ewaluacje agentów AI, promptów, narzędzi i skilli: realistyczne zbiory, izolowane punkty odniesienia, asercje, rubryki, analiza trajektorii, koszt i porównanie regresji.

Repozytorium
godmode ↗
Licencja
MIT
Ostatnia zmiana repozytorium
26.08.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Projektuje i uruchamia powtarzalne ewaluacje agentów AI, promptów, narzędzi i skilli: realistyczne zbiory, izolowane punkty odniesienia, asercje, rubryki, analiza trajektorii, koszt i porównanie regresji.

Oryginalny opis (EN)

Designs and runs reproducible evaluations for AI agents, prompts, tools, skills, and model-backed workflows using realistic datasets, isolated baselines, objective assertions, rubric grading, trajectory analysis, cost/latency tracking, and regression comparison. Use when measuring agent quality, optimizing skill triggering, comparing prompts or models, or gating an AI feature release. Not for ordinary deterministic unit tests.

Jak działa

  1. Define the evaluation contract
  2. Run isolated comparisons
  3. Analyze and iterate
  4. Completion condition
Sekcje z nagłówków SKILL.md, w oryginale · 48 linii, 268 słów
Podgląd SKILL.md
---
name: agent-evaluation
description: >-
  Designs and runs reproducible evaluations for AI agents, prompts, tools,
  skills, and model-backed workflows using realistic datasets, isolated
  baselines, objective assertions, rubric grading, trajectory analysis,
  cost/latency tracking, and regression comparison. Use when measuring agent
  quality, optimizing skill triggering, comparing prompts or models, or gating
  an AI feature release. Not for ordinary deterministic unit tests.
---

# Agent Evaluation

Build a quality flywheel that can distinguish a real improvement from a lucky
run.

## Define the evaluation contract

Name the target behavior, users, risks, baseline, candidate, environment,
stochastic settings, and decision threshold. Start with a few realistic cases,
including a boundary or failure case. Split trigger-query optimization into a
fixed training set and held-out validation set.

Use [eval-schema.md](references/eval-schema.md) for cases, assertions, timing,
and result records.

## Run isolated comparisons

1. Snapshot the baseline before changing the candidate.
2. Run baseline and candidate on identical inputs in fresh contexts with no
   leaked expected answer or previous trace.
3. Capture final artifacts, public transcript/tool summaries, duration, token
   or request cost, and failures.
4. Grade deterministic assertions first; use a blinded rubric or human review
   for qualities that cannot be measured mechanically.
5. Repeat stochastic cases enough to expose variance. Do not hide flakiness by
   dropping inconvenient runs.

Measure task success, instruction adherence, tool selection and arguments,
trajectory efficiency, grounding, safety, output quality, latency, and cost only
when relevant. A single aggregate score must not hide a release-blocking metric.

## Analyze and iterate

Cluster repeated failures by cause, change one owning layer, rerun the affected
cases, then run the regression set. Compare candidate against baseline and
reject improvements that regress a protected metric beyond its tolerance.

Use `writing-skills` for skill-specific authoring and `release-engineering` for
production promotion. Never claim a score that was not read from an actual
result artifact.

## Completion condition

Cases, environment, baseline, candidate, artifacts, graders, costs, and limits
are reproducible; the decision follows predefined thresholds rather than a
post-hoc interpretation of the preferred result.
Pliki w paczce (3)
  • SKILL.md 2 KB
  • agents/openai.yaml 1 KB
  • references/eval-schema.md 2 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · thiientv/godmode90MIT
FrancoStino/opencode-skills-collection100MIT
helx0071/skillsmo100MIT
alebgl77/claude-inc100MIT
guia-matthieu/clawfu-skills100MIT
seb1n/awesome-ai-agent-skills100MIT
charlieviettq/awesome-agent-skill100MIT
viktorbezdek/skillstack100MIT
mlflow/skills95Apache-2.0

Migawka bazy z 13.11.2026 · wersja paczki 7e68c00aa132 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100evals
    Buduje i uruchamia ewaluacje funkcji LLM, agentów i RAG: zbiory wzorcowe, asercje, sędziów LLM i bramki regresji w CI.
  • 100evals
    Projektuje i utrzymuje ewaluacje promptów LLM, agentów i skilli: kryteria sukcesu, skład zbioru testowego, graderzy kodowi, LLM i ludzcy, ocena trajektorii, testy wyzwalania, zestawy regresji i saturacja.
  • 90skill-evaluation-workbench
    Projektuje, uruchamia, debuguje i utwardza deterministyczne zestawy ewaluacji skilli agentów, promptów, przepływów narzędzi i przypadków opartych na MCP.
  • 100promptfoo-evaluation
    Tworzy i uruchamia ewaluacje Promptfoo dla promptów LLM i potoków RAG: konfiguracja promptfooconfig.yaml, asercje deterministyczne, semantyczne i oceniane przez model, raport HTML oraz bramka regresji w CI.
  • 100promptfoo-evaluation
    Pomaga w Promptfoo: konfiguruje dostawców, asercje deterministyczne i modelowe, ewaluacje oraz bramki w CI dla promptu lub potoku RAG.
  • 100langgraph-testing-evaluation
    Testuje i ewaluuje agentów LangGraph i LangChain: testy jednostkowe i integracyjne, mockowanie LLM i narzędzi, ewaluacja trajektorii, zbiory danych LangSmith i porównania wersji w stylu A/B.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.