agent-eval-trigger-accuracy
/agent-eval-trigger-accuracy
Mierzy, czy skill uruchamia się wtedy, kiedy powinien, i czy milczy wtedy, kiedy nie powinien, oraz podpowiada poprawki opisu.
- Autor
- SayandipBagchi ↗
- Repozytorium
- agent-evaluator ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 04.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 04.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Mierzy, czy skill uruchamia się wtedy, kiedy powinien, i czy milczy wtedy, kiedy nie powinien, oraz podpowiada poprawki opisu.
Oryginalny opis (EN)
Measure whether a skill activates when it should and stays quiet when it should not (precision, recall, F1, collisions with sibling and distractor skills). Use when the user asks why a skill does not trigger, triggers too often, or how to improve its description. Not for task success.
Jak działa
SKILL.md bez nagłówków drugiego poziomu · 9 linii, 160 słów
Podgląd SKILL.md
--- name: agent-eval-trigger-accuracy description: Measure whether a skill activates when it should and stays quiet when it should not (precision, recall, F1, collisions with sibling and distractor skills). Use when the user asks why a skill does not trigger, triggers too often, or how to improve its description. Not for task success. license: MIT --- # Trigger accuracy (weight 9%) 1. Prompt set: `<skill>/evals/trigger_prompts.yaml` (`positive`, `negative`, `near_miss` lists) if the author has one. Otherwise the host generates them, 30 per skill when sampled and up to 60 otherwise. 2. Run `agent-eval evaluate <src> --only trigger-accuracy --yes --provider host --host-dir <run>/host --out <run>/out`, then agent-eval-host-runner. A router prompt lists the target skill, its siblings in the same plugin, and 15 bundled distractor skills, and asks which one should handle each request. 3. Metrics per skill: precision (good ≥ 0.9), recall (good ≥ 0.85), F1, collision rate (positives routed to another skill, good ≤ 5%). Score = 5 × mean F1. 4. Without host answers the engine reports a static proxy (description has what/when/when-not, specificity, lexical overlap with siblings and distractors) at low confidence. Label it as a proxy. 5. Fixes to suggest: add the user phrasings that missed, add "not for X (use Y)" clauses for collisions, and keep name plus description under about 100 tokens.
Wersje
W bazie nie ma innych skilli o nazwie agent-eval-trigger-accuracy.
Migawka bazy z 13.11.2026 · wersja paczki 08a422e626c0 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 82skill-creator
Tworzy nowe skille, poprawia istniejące i mierzy ich skuteczność testami oraz optymalizacją opisu. - 100skill-eval
Mierzy, czy skill faktycznie pomaga: buduje zestaw testów plugin eval, uruchamia go z limitem wydatków i porównuje wyniki z wersją bez skilla. - 100hk-skill-creator
Tworzy nowe skille, ulepsza istniejące, uruchamia ewaluacje, mierzy ich skuteczność z analizą wariancji i optymalizuje opis pod trafność wyzwalania. - 100skill-center-creator
Tworzy nowe skille, poprawia istniejące, uruchamia ewaluacje i mierzy wyniki, w tym trafność opisu wyzwalającego. - 100skill-eval
Mierzy, czy skill pomaga, porównując przebiegi z nim i bez niego, oraz pomaga odczytać wyniki testów A/B i zdecydować, czy skill zachować, poprawić czy usunąć. - 100using-agent-skills
Wykrywa i wywołuje skille agentów na początku sesji oraz wtedy, gdy trzeba ustalić, który skill pasuje do bieżącego zadania.