test-skill-activation
/test-skill-activation
Mierzy, czy skille SKILL.md uruchamiają się w Claude Code, Codex i OpenCode, i poprawia opisy skilli, które źle działają.
- Autor
- diegoperezg7 ↗
- Repozytorium
- doesitfire ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 04.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 04.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Mierzy, czy skille SKILL.md uruchamiają się w Claude Code, Codex i OpenCode, i poprawia opisy skilli, które źle działają.
Oryginalny opis (EN)
Measure whether agent skills (SKILL.md) actually activate in Claude Code, Codex and OpenCode with doesitfire, then improve the descriptions of skills that do not fire or fire when they should not. Use when the user asks if a skill triggers, why a skill is ignored, to test or benchmark skill activation, or to tune a skill's description.
Jak działa
- Before anything runs
- Steps
- Notes
Podgląd SKILL.md
--- name: test-skill-activation description: Measure whether agent skills (SKILL.md) actually activate in Claude Code, Codex and OpenCode with doesitfire, then improve the descriptions of skills that do not fire or fire when they should not. Use when the user asks if a skill triggers, why a skill is ignored, to test or benchmark skill activation, or to tune a skill's description. --- # Test skill activation with doesitfire doesitfire runs each coding agent in a Docker sandbox on prompts that should and should not trigger each skill, and reports recall (fires when it should) and false-fire rate per agent and skill. ## Before anything runs 1. Check the tools: `uv --version` and `docker info` must work. If Docker is not running, say so and stop. 2. Use this command prefix everywhere, pinned to a release: `uvx --from doesitfire==0.1.2 doesitfire` 3. To show the user what a result looks like first, with no keys, no Docker and no cost, run `... doesitfire demo`. ## Steps 1. **Find the skills.** Run `... doesitfire init <dir>` on the directory that holds the skills (for example `.claude/skills`). It writes `doesitfire.yaml` with one entry per `SKILL.md`. 2. **Write the prompts.** For each skill, read its `SKILL.md` and fill `should_fire` with 3 to 6 realistic requests a user would type, phrased the way people talk and not copying the description wording, and `should_not_fire` with 3 to 6 near misses: requests on a related topic that the skill should not handle. Show the prompts to the user before running. 3. **Choose agents and models.** Ask which agents to test and with which provider. Claude Code needs `ANTHROPIC_API_KEY`, or `CLAUDE_CODE_OAUTH_TOKEN` from `claude setup-token` to use a Claude subscription. Ollama is free but slow on a laptop. Never print or write key values. 4. **Agree on the budget.** Runs = agents x skills x prompts x `repeats`. Tell the user that number and pass `--max-cost` (default 1 USD). Do not start a paid run without the user's explicit OK. 5. **Run.** `... doesitfire run --max-cost <usd>`. Results go to `doesitfire-results/` (`results.json`, `report.html`, JUnit and a badge). 6. **Read the results.** Report per agent and skill: recall, false-fire rate, and the prompts that missed. Quote numbers from `results.json`; do not estimate them. 7. **Fix descriptions.** For skills with low recall, rewrite the `description` in the frontmatter so it says when to use the skill, with the words users actually use; for false fires, add when not to use it. Change only the description unless the user asks for more, then re-run only those skills with `--skills <name>` to confirm the change helped. Report before and after. ## Notes - Activation is not deterministic: with `repeats: 1` a single run decides the cell. Prefer 3 when the budget allows and say how many runs each number rests on. - For CI, `--min-recall 0.75 --max-false-fire 0.25` makes the run exit 1 when a cell misses, and the repository ships a GitHub Action (`uses: diegoperezg7/doesitfire@v0.1.2`).
Wersje
W bazie nie ma innych skilli o nazwie test-skill-activation.
Migawka bazy z 13.11.2026 · wersja paczki 60ba50184751 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100skillcheck
Mierzy, czy skille Claude Code i Codexa faktycznie się uruchamiają obok pozostałych zainstalowanych skilli. - 100skill-lint
Buduje, audytuje i ocenia przenośne skille SKILL.md z skryptami dla Claude Code, Codex i Cursor oraz poprawia skille, które się nie uruchamiają. - 95skill-architect
Projektuje, tworzy, audytuje i poprawia skille Claude Agent Skills, w tym progresywne ujawnianie treści, opisy skilli i diagnozowanie problemów z aktywacją. - 100skill-trigger-test
Sprawdza, czy opisy skilli uruchamiają właściwy skill dla zapisanych zapytań lub prawdziwych słów użytkownika. - 100opencode-skill-creator
Tworzy, testuje, ocenia, optymalizuje i pakuje skille OpenCode za pomocą pluginu opencode-skill-creator, w tym edycję SKILL.md, ewaluacje i benchmarki. - 100skill-creator
Tworzy, poprawia i ocenia skille, uruchamia ewaluacje i dostraja opisy, gdy skill nie uruchamia się tak, jak trzeba.