Przejdź do treści
Biblioteka skilli
AI i agenci · Analiza

agent-eval-trigger-accuracy

/agent-eval-trigger-accuracy

Mierzy, czy skill uruchamia się wtedy, kiedy powinien, i czy milczy wtedy, kiedy nie powinien, oraz podpowiada poprawki opisu.

Licencja
MIT
Ostatnia zmiana repozytorium
04.11.2026

Ocena i bezpieczeństwo

86/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść21 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 04.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Mierzy, czy skill uruchamia się wtedy, kiedy powinien, i czy milczy wtedy, kiedy nie powinien, oraz podpowiada poprawki opisu.

Oryginalny opis (EN)

Measure whether a skill activates when it should and stays quiet when it should not (precision, recall, F1, collisions with sibling and distractor skills). Use when the user asks why a skill does not trigger, triggers too often, or how to improve its description. Not for task success.

Jak działa

SKILL.md bez nagłówków drugiego poziomu · 9 linii, 160 słów

Podgląd SKILL.md
---
name: agent-eval-trigger-accuracy
description: Measure whether a skill activates when it should and stays quiet when it should not (precision, recall, F1, collisions with sibling and distractor skills). Use when the user asks why a skill does not trigger, triggers too often, or how to improve its description. Not for task success.
license: MIT
---

# Trigger accuracy (weight 9%)

1. Prompt set: `<skill>/evals/trigger_prompts.yaml` (`positive`, `negative`, `near_miss` lists) if the author has one. Otherwise the host generates them, 30 per skill when sampled and up to 60 otherwise.
2. Run `agent-eval evaluate <src> --only trigger-accuracy --yes --provider host --host-dir <run>/host --out <run>/out`, then agent-eval-host-runner. A router prompt lists the target skill, its siblings in the same plugin, and 15 bundled distractor skills, and asks which one should handle each request.
3. Metrics per skill: precision (good ≥ 0.9), recall (good ≥ 0.85), F1, collision rate (positives routed to another skill, good ≤ 5%). Score = 5 × mean F1.
4. Without host answers the engine reports a static proxy (description has what/when/when-not, specificity, lexical overlap with siblings and distractors) at low confidence. Label it as a proxy.
5. Fixes to suggest: add the user phrasings that missed, add "not for X (use Y)" clauses for collisions, and keep name plus description under about 100 tokens.

Wersje

W bazie nie ma innych skilli o nazwie agent-eval-trigger-accuracy.

Migawka bazy z 13.11.2026 · wersja paczki 08a422e626c0 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 82skill-creator
    Tworzy nowe skille, poprawia istniejące i mierzy ich skuteczność testami oraz optymalizacją opisu.
  • 100skill-eval
    Mierzy, czy skill faktycznie pomaga: buduje zestaw testów plugin eval, uruchamia go z limitem wydatków i porównuje wyniki z wersją bez skilla.
  • 100hk-skill-creator
    Tworzy nowe skille, ulepsza istniejące, uruchamia ewaluacje, mierzy ich skuteczność z analizą wariancji i optymalizuje opis pod trafność wyzwalania.
  • 100skill-center-creator
    Tworzy nowe skille, poprawia istniejące, uruchamia ewaluacje i mierzy wyniki, w tym trafność opisu wyzwalającego.
  • 100skill-eval
    Mierzy, czy skill pomaga, porównując przebiegi z nim i bez niego, oraz pomaga odczytać wyniki testów A/B i zdecydować, czy skill zachować, poprawić czy usunąć.
  • 100using-agent-skills
    Wykrywa i wywołuje skille agentów na początku sesji oraz wtedy, gdy trzeba ustalić, który skill pasuje do bieżącego zadania.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.