evaluate-tool-calling-model
/evaluate-tool-calling-model
Ocenia wywoływanie narzędzi przez model: wybór narzędzia, argumenty, schematy, wykonanie, wykorzystanie obserwacji, odzyskiwanie po błędach i skutki uboczne, przy porównywaniu checkpointów, promptów i pętli agentów.
- Autor
- gaelic-ghost ↗
- Repozytorium
- socket ↗
- Licencja
- Apache-2.0
- Ostatnia zmiana repozytorium
- 26.08.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Ocenia wywoływanie narzędzi przez model: wybór narzędzia, argumenty, schematy, wykonanie, wykorzystanie obserwacji, odzyskiwanie po błędach i skutki uboczne, przy porównywaniu checkpointów, promptów i pętli agentów.
Oryginalny opis (EN)
Evaluate tool selection, arguments, schemas, execution, observation use, recovery, and side effects. Use when comparing tool-capable checkpoints, prompts, parsers, agent loops, function schemas, or harnesses.
Jak działa
- Model The Whole Loop
- Workflow
- Ownership Boundary
- References
Podgląd SKILL.md
---
name: evaluate-tool-calling-model
description: Evaluate tool selection, arguments, schemas, execution, observation use, recovery, and side effects. Use when comparing tool-capable checkpoints, prompts, parsers, agent loops, function schemas, or harnesses.
---
# Evaluate Tool-Calling Model
## Model The Whole Loop
Evaluate these stages separately: whether a tool is needed, which tool is selected, whether arguments are semantically correct and schema-valid, whether execution is authorized, whether the observation is interpreted correctly, whether the loop stops, and whether the final answer reflects the tool result.
## Workflow
1. Inventory tools, schemas, side effects, auth requirements, error modes, and name/description ambiguities.
2. Build cases for correct calls, no-call answers, ambiguous choices, parallel calls, dependent calls, invalid arguments, tool errors, empty results, malicious tool output, authorization denial, and recovery.
3. Use deterministic fake tools with recorded inputs and outputs for the core suite.
4. Enforce authorization in the executor independently of model output. The model cannot grant itself a capability; intercept denied and irreversible calls before execution and record attempted versus executed side effects separately.
5. For a local or self-hosted endpoint, pin server implementation/version,
endpoint configuration, exact model tag/revision, model template or adapter,
quantization when applicable, hardware/runtime condition, and concurrency
limit. OpenAI-compatible HTTP does not prove equivalent tool semantics.
6. Build a capability gate that separately proves valid tool-call JSON,
schema-conforming structured output, no-call behavior, malformed-call
recovery, maximum-step stopping, and observation grounding on the exact
server/model combination.
7. Pin model, prompt, schema serialization, parser, retry policy, maximum
steps, and harness revision.
8. Score selection, arguments, ordering, execution result, recovery, final
answer, latency, token use, attempted side effects, and executed side
effects independently.
9. Detect invalid JSON, hallucinated tools, repeated calls, ignored errors,
premature answers, and non-termination explicitly.
10. Run live integration cases only after the fake-tool suite passes and only
inside approved side-effect boundaries.
11. Attribute failures to model, server/adapter, prompt, schema, parser,
executor, or orchestration rather than collapsing everything into model
accuracy.
## Ownership Boundary
This skill evaluates a model plus harness interface. Use `agent-engineering-skills` when the primary artifact is an agent skill or plugin package, and `agent-portability-skills` when the question is host compatibility rather than behavioral quality.
## References
Read `references/tool-evaluation-matrix.md` for minimum cases and metrics.
Pliki w paczce (3)
- SKILL.md 3 KB
- agents/openai.yaml 1 KB
- references/tool-evaluation-matrix.md 2 KB
Wersje
W bazie nie ma innych skilli o nazwie evaluate-tool-calling-model.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki 8cd2414dc9f8 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100tool-use-schema-design
Projektuje schematy wywołań funkcji, które modele LLM używają niezawodnie, z opisami, parametrami i strukturą JSON. - 100agent-protocol
Projektuje protokoły komunikacji agentów AI: schematy narzędzi MCP, A2A, function calling i wymianę wiadomości między agentami w systemach wieloagentowych. - 100tool-schema-design
Projektuje i waliduje definicje narzędzi dla modeli: czytelne nazwy, opisy zorientowane na akcję, ograniczone parametry JSON Schema, jawne skutki uboczne, idempotentność i realistyczne testy. - 100tool-calling-tutor
Diagnozuje agenta, który nie wywołuje narzędzia, podaje złe argumenty lub zapętla się, i naprawia schemat funkcji w pięciu krokach. - 100tool-design
Projektuje interfejsy narzędzi dla agentów LLM: opisy, schematy parametrów i komunikaty błędów, gdy model wybiera złe narzędzie. - 100agent-tool-use-patterns
Pomaga projektować bezpieczne i niezawodne interfejsy wywoływania narzędzi dla agentów LLM: schematy narzędzi, halucynowane wywołania, pętle, autonomia, niezaufane wyniki i bramki potwierdzeń przed destrukcyjnymi akcjami.