Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

core-skill-eval

/core-skill-eval

Ocenia skill na reprezentatywnych przypadkach w izolowanych przebiegach z niezależnym sędzią i poprawkami opartymi na dowodach, po jawnym wywołaniu.

Licencja
GPL-3.0
Ostatnia zmiana repozytorium
17.09.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
2
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 17.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

GPL-3.0, otwarta.

Co robi i kiedy

Ocenia skill na reprezentatywnych przypadkach w izolowanych przebiegach z niezależnym sędzią i poprawkami opartymi na dowodach, po jawnym wywołaniu.

Oryginalny opis (EN)

Use only when the user explicitly invokes this skill to evaluate a skill with representative cases, isolated runs, independent judging, and evidence-driven edits.

Jak działa

  1. Required Inputs
  2. Workflow
  3. Output
  4. Do not
Sekcje z nagłówków SKILL.md, w oryginale · 69 linii, 479 słów
Podgląd SKILL.md
---
name: core-skill-eval
description: Use only when the user explicitly invokes this skill to evaluate a skill with representative cases, isolated runs, independent judging, and evidence-driven edits.
metadata:
  version: "1.1"
  updated: "2026-07-26"
---

# Skill Eval

Use this only when the user explicitly invokes this skill. Do not run it for
ordinary tasks or start it on your own after a skill change: it needs a target
skill, representative cases, and a clear standard for judging each case.

## Required Inputs

Do not start until these inputs exist:

- **Target skill**: a real `SKILL.md` that can be read.
- **Representative cases**: at least one realistic prompt, screenshot, file, diff, log,
  or other input artifact. Do not invent cases or guess intent.
- **Case bar**: what good looks like and which smells would fail it. For
  judgment-heavy skills, keep the bar at outcome level rather than listing the
  exact answer. For conformance skills, exact criteria are appropriate. Ask when
  the distinction is unclear.

If the user only says "this skill often misses X", first help them turn that
complaint into concrete cases and bars before assigning runners.

## Workflow

1. **Validate inputs and state the governing standard.** Read the target skill and
   identify its purpose, trigger, done condition, and expected failure modes.
   Decide whether the eval is judgment-based or conformance-based. Continue only
   when each case has concrete input and a judgeable bar.
2. **Run isolated cases.** For each case, start a clean runner with only the case
   material and the target-skill invocation. Keep the bar, smells, other cases,
   and evaluation intent out of that run. If files must be written, restrict the
   runner to a throwaway directory. After each run, inspect the live checkout and
   clean accidental leaks.
3. **Judge independently.** Give a separate judge the artifact, the bar, and the
   target skill's purpose. Do not ask the judge to "make it pass." Require
   evidence for every verdict, such as a quote or artifact pointer.
4. **Handle variance.** Re-run important or borderline cases enough times to
   report a pass rate instead of a single anecdote.
5. **Classify misses.** A miss can be a skill defect or a bad case/bar. Name the
   defect before editing: premature completion, vague done condition, missing
   rule, weak trigger, no-op instruction, duplication, sediment, sprawl, or
   missing reference split. Do not encode a bad bar into the skill.
6. **Edit only for the observed defect.** Tighten the done condition, trigger,
   rule, behavior anchor, or reference split that caused the miss.
7. **Re-run the suite.** A fix for one case must not regress another. Stop only
   when the cases clear their bars or when you can explain why the skill cannot
   support a case.

## Output

```text
Target skill:
Cases:
Per-case pass rate or verdict:
Failures:
Defect mapping:
Edits made / proposed:
Re-eval result:
Residual risk:
```

Every verdict needs traceable artifact evidence. A single numeric score is not
enough.

## Do not

- Do not revise a skill to satisfy a case whose bar is wrong.
- Do not compare artifacts against each other when the bar is the standard.
Pliki w paczce (2)
  • SKILL.md 3 KB
  • agents/openai.yaml 1 KB

Wersje

W bazie nie ma innych skilli o nazwie core-skill-eval.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki ec0b9f035d65 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100eval-harness
    Ocenia jakość agenta i workflow AI na reprezentatywnych przypadkach, z kontrolą regresji i mierzonym kosztem.
  • 90evaluate
    Ocenia workflow AI na reprezentatywnych przypadkach i dozwolonych akcjach, np. model, wyszukiwanie lub agenta, przy czym wynik testów nie daje prawa do wydania wersji.
  • 100ai-evaluation
    Ocenia dostarczony przepływ lub agenta AI na reprezentatywnych przypadkach, z progami jakości, bezpieczeństwa, opóźnień i kosztów oraz wersjonowanymi dowodami regresji.
  • 100evaluate-skill
    Ocenia skill agenta: routing, jakość wykonania, niezawodność, kompozycję i wartość dodaną na izolowanych, realistycznych przypadkach, przy decyzji o gotowości lub po zaobserwowanych awariach.
  • 90improvement-prompt-eval
    Porównuje prompty systemowe, pliki AGENTS.md lub CLAUDE.md oraz opisy narzędzi na reprezentatywnych zadaniach.
  • 90improvement-skill-eval
    Sprawdza, czy skill poprawnie się uruchamia i poprawia wyniki, porównując go z punktem odniesienia.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.