Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

evals

/evals

Buduje i uruchamia ewaluacje funkcji LLM, agentów i RAG: zbiory wzorcowe, asercje, sędziów LLM i bramki regresji w CI.

Repozytorium
engineering-os ↗
Licencja
MIT
Ostatnia zmiana repozytorium
08.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 08.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Buduje i uruchamia ewaluacje funkcji LLM, agentów i RAG: zbiory wzorcowe, asercje, sędziów LLM i bramki regresji w CI.

Wyzwalacze z opisu

is this better?\how do I test my agent/chatbot\sometimes\
Oryginalny opis (EN)

Build and run evaluations for LLM features, prompts, agents, and RAG pipelines — golden datasets, assertions, LLM-as-judge graders, regression gates in CI, A/B comparison of prompts or models. Use whenever someone changes a prompt, swaps a model, ships an AI feature, asks \"is this better?\", \"how do I test my agent/chatbot\", or reports that an AI feature \"sometimes\" gives bad answers.

Jak działa

  1. The minimum viable eval (do this first, ~30 min)
  2. File layout (adapt to the project)
  3. Comparing versions
  4. Regression gate
  5. Agents
  6. RAG
  7. Anti-patterns
Sekcje z nagłówków SKILL.md, w oryginale · 52 linii, 476 słów
Podgląd SKILL.md
---
name: evals
description: "Build and run evaluations for LLM features, prompts, agents, and RAG pipelines — golden datasets, assertions, LLM-as-judge graders, regression gates in CI, A/B comparison of prompts or models. Use whenever someone changes a prompt, swaps a model, ships an AI feature, asks \"is this better?\", \"how do I test my agent/chatbot\", or reports that an AI feature \"sometimes\" gives bad answers."
---

# LLM Evals

An eval turns "it seems better" into a number you can track. Without one, every prompt tweak is a coin flip that can silently break cases you fixed last week.

## The minimum viable eval (do this first, ~30 min)

1. **Collect 20–50 real inputs.** Pull from logs, support tickets, or write them by hand to cover: common cases, edge cases (empty, huge, multilingual, adversarial/prompt-injection), and every bug you've already fixed.
2. **Write the expected behavior per case** — not necessarily an exact answer; often a set of checks.
3. **Grade with the cheapest reliable method:**
   - Code checks first: valid JSON/schema, contains/doesn't contain, regex, exact match on a field, length bounds, tool X was called with arg Y, latency < N.
   - LLM-as-judge only for genuinely fuzzy criteria (tone, faithfulness to source, helpfulness). Give the judge a rubric with a binary or 1–3 scale per criterion, ask for reasoning before the verdict, and spot-check ~10% of judge verdicts by hand.
4. **Run it, save results** (`evals/results/<date>-<prompt_version>.jsonl`) with input, output, per-check pass/fail, model, tokens, latency.
5. **Report**: overall pass rate, per-category pass rate, and the actual failing outputs. Read the failures — that's where the insight is.

## File layout (adapt to the project)

```
evals/
  cases.jsonl          # {"id", "input", "checks": [...], "tags": [...]}
  graders.py|ts        # code checks + judge prompt
  run.py|ts            # runs cases concurrently, writes results
  results/             # timestamped outputs (gitignore large ones)
```

Use the project's language. If the project already uses promptfoo, inspect-ai, braintrust, langsmith, or the Claude Console eval tool, use that instead of rolling your own.

## Comparing versions

- Run baseline and candidate on the **same** cases, same model settings. Report the delta and list cases that flipped pass→fail (regressions) separately from fail→pass.
- LLM outputs vary: run each case 3× for anything near the threshold and report mean ± spread.
- For subjective quality, do a blind pairwise comparison (judge sees A/B in random order).

## Regression gate

Add the eval to CI (or a pre-merge script) for prompt/model changes with a threshold: fail if pass rate drops > X points or any case tagged `critical` fails. Keep the gate fast — a small critical subset on every change, the full set nightly.

## Agents

Grade the trajectory, not only the final answer: right tools called, no forbidden tools, number of turns, cost, and whether it stopped correctly. Record full transcripts.

## RAG

Separate retrieval evals (did the right chunk appear in top-k? recall@k, MRR) from generation evals (is the answer faithful to the retrieved context and does it cite it?).

## Anti-patterns

- Testing only the happy-path demo prompt.
- Judge with no rubric ("is this good?") → noise.
- Changing cases and prompt at the same time → you can't attribute the change.
- Treating a 2-point move on 20 cases as signal.

Wersje

RepozytoriumWynikLicencja
Ta strona · soummyaanon/engineering-os100MIT
emplio-app/emplio100AGPL-3.0
renzrollon/interlock100MIT
chrishuffman5/domain-expert100MIT
houseofmvps/ultraship100MIT
camronh/EZVals95MIT
virtualian/pai95MIT
virtualian/pai95MIT
virtualian/pai95MIT

Migawka bazy z 13.11.2026 · wersja paczki 6a5c278b8bb0 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100llm-evals
    Buduje zestawy ewaluacyjne dla funkcji LLM i agentów: analizę błędów, kryteria zaliczenia, sędziów LLM i testy regresji w CI.
  • 90llm-evals
    Projektuje oceny jakości funkcji LLM i agentów: dobiera skalę punktacji, kalibruje sędziów LLM, przygotowuje zbiory wzorcowe i testy regresji promptów.
  • 100agent-evals
    Mierzy agentów LLM i systemy RAG: analizę błędów, taksonomię, zbiory testowe, sędziów LLM, ścieżki wywołań i bramki CI.
  • 100eval-harness
    Buduje i uruchamia zestawy ewaluacji funkcji AI w aplikacji użytkownika (prompty, wywołania LLM, RAG, agenci): graders, metryki pass@k, opóźnienia i koszt, w trybach tworzenia, uruchamiania i raportowania.
  • 100evals-ops
    Buduje ewaluacje systemów LLM i agentów: zbiory wzorcowe, sędziów z kontrolą stronniczości, ocenę trajektorii i bramki CI.
  • 100ai-evals
    Buduje, przegląda i naprawia ewaluacje aplikacji LLM, RAG i agentów: analiza błędów na prawdziwych śladach, sędziowie PASS/FAIL i bramki w CI.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.