agent-evaluation
/agent-evaluation
Projektuje i uruchamia powtarzalne ewaluacje agentów AI, promptów, narzędzi i skilli: realistyczne zbiory, izolowane punkty odniesienia, asercje, rubryki, analiza trajektorii, koszt i porównanie regresji.
- Autor
- thiientv ↗
- Repozytorium
- godmode ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 26.08.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Projektuje i uruchamia powtarzalne ewaluacje agentów AI, promptów, narzędzi i skilli: realistyczne zbiory, izolowane punkty odniesienia, asercje, rubryki, analiza trajektorii, koszt i porównanie regresji.
Oryginalny opis (EN)
Designs and runs reproducible evaluations for AI agents, prompts, tools, skills, and model-backed workflows using realistic datasets, isolated baselines, objective assertions, rubric grading, trajectory analysis, cost/latency tracking, and regression comparison. Use when measuring agent quality, optimizing skill triggering, comparing prompts or models, or gating an AI feature release. Not for ordinary deterministic unit tests.
Jak działa
- Define the evaluation contract
- Run isolated comparisons
- Analyze and iterate
- Completion condition
Podgląd SKILL.md
--- name: agent-evaluation description: >- Designs and runs reproducible evaluations for AI agents, prompts, tools, skills, and model-backed workflows using realistic datasets, isolated baselines, objective assertions, rubric grading, trajectory analysis, cost/latency tracking, and regression comparison. Use when measuring agent quality, optimizing skill triggering, comparing prompts or models, or gating an AI feature release. Not for ordinary deterministic unit tests. --- # Agent Evaluation Build a quality flywheel that can distinguish a real improvement from a lucky run. ## Define the evaluation contract Name the target behavior, users, risks, baseline, candidate, environment, stochastic settings, and decision threshold. Start with a few realistic cases, including a boundary or failure case. Split trigger-query optimization into a fixed training set and held-out validation set. Use [eval-schema.md](references/eval-schema.md) for cases, assertions, timing, and result records. ## Run isolated comparisons 1. Snapshot the baseline before changing the candidate. 2. Run baseline and candidate on identical inputs in fresh contexts with no leaked expected answer or previous trace. 3. Capture final artifacts, public transcript/tool summaries, duration, token or request cost, and failures. 4. Grade deterministic assertions first; use a blinded rubric or human review for qualities that cannot be measured mechanically. 5. Repeat stochastic cases enough to expose variance. Do not hide flakiness by dropping inconvenient runs. Measure task success, instruction adherence, tool selection and arguments, trajectory efficiency, grounding, safety, output quality, latency, and cost only when relevant. A single aggregate score must not hide a release-blocking metric. ## Analyze and iterate Cluster repeated failures by cause, change one owning layer, rerun the affected cases, then run the regression set. Compare candidate against baseline and reject improvements that regress a protected metric beyond its tolerance. Use `writing-skills` for skill-specific authoring and `release-engineering` for production promotion. Never claim a score that was not read from an actual result artifact. ## Completion condition Cases, environment, baseline, candidate, artifacts, graders, costs, and limits are reproducible; the decision follows predefined thresholds rather than a post-hoc interpretation of the preferred result.
Pliki w paczce (3)
- SKILL.md 2 KB
- agents/openai.yaml 1 KB
- references/eval-schema.md 2 KB
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · thiientv/godmode | 90 | MIT |
| FrancoStino/opencode-skills-collection | 100 | MIT |
| helx0071/skillsmo | 100 | MIT |
| alebgl77/claude-inc | 100 | MIT |
| guia-matthieu/clawfu-skills | 100 | MIT |
| seb1n/awesome-ai-agent-skills | 100 | MIT |
| charlieviettq/awesome-agent-skill | 100 | MIT |
| viktorbezdek/skillstack | 100 | MIT |
| mlflow/skills | 95 | Apache-2.0 |
Migawka bazy z 13.11.2026 · wersja paczki 7e68c00aa132 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100evals
Buduje i uruchamia ewaluacje funkcji LLM, agentów i RAG: zbiory wzorcowe, asercje, sędziów LLM i bramki regresji w CI. - 100evals
Projektuje i utrzymuje ewaluacje promptów LLM, agentów i skilli: kryteria sukcesu, skład zbioru testowego, graderzy kodowi, LLM i ludzcy, ocena trajektorii, testy wyzwalania, zestawy regresji i saturacja. - 90skill-evaluation-workbench
Projektuje, uruchamia, debuguje i utwardza deterministyczne zestawy ewaluacji skilli agentów, promptów, przepływów narzędzi i przypadków opartych na MCP. - 100promptfoo-evaluation
Tworzy i uruchamia ewaluacje Promptfoo dla promptów LLM i potoków RAG: konfiguracja promptfooconfig.yaml, asercje deterministyczne, semantyczne i oceniane przez model, raport HTML oraz bramka regresji w CI. - 100promptfoo-evaluation
Pomaga w Promptfoo: konfiguruje dostawców, asercje deterministyczne i modelowe, ewaluacje oraz bramki w CI dla promptu lub potoku RAG. - 100langgraph-testing-evaluation
Testuje i ewaluuje agentów LangGraph i LangChain: testy jednostkowe i integracyjne, mockowanie LLM i narzędzi, ewaluacja trajektorii, zbiory danych LangSmith i porównania wersji w stylu A/B.