Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

evaluate-tool-calling-model

/evaluate-tool-calling-model

Ocenia wywoływanie narzędzi przez model: wybór narzędzia, argumenty, schematy, wykonanie, wykorzystanie obserwacji, odzyskiwanie po błędach i skutki uboczne, przy porównywaniu checkpointów, promptów i pętli agentów.

Repozytorium
socket ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
26.08.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Ocenia wywoływanie narzędzi przez model: wybór narzędzia, argumenty, schematy, wykonanie, wykorzystanie obserwacji, odzyskiwanie po błędach i skutki uboczne, przy porównywaniu checkpointów, promptów i pętli agentów.

Oryginalny opis (EN)

Evaluate tool selection, arguments, schemas, execution, observation use, recovery, and side effects. Use when comparing tool-capable checkpoints, prompts, parsers, agent loops, function schemas, or harnesses.

Jak działa

  1. Model The Whole Loop
  2. Workflow
  3. Ownership Boundary
  4. References
Sekcje z nagłówków SKILL.md, w oryginale · 42 linii, 334 słów
Podgląd SKILL.md
---
name: evaluate-tool-calling-model
description: Evaluate tool selection, arguments, schemas, execution, observation use, recovery, and side effects. Use when comparing tool-capable checkpoints, prompts, parsers, agent loops, function schemas, or harnesses.
---

# Evaluate Tool-Calling Model

## Model The Whole Loop

Evaluate these stages separately: whether a tool is needed, which tool is selected, whether arguments are semantically correct and schema-valid, whether execution is authorized, whether the observation is interpreted correctly, whether the loop stops, and whether the final answer reflects the tool result.

## Workflow

1. Inventory tools, schemas, side effects, auth requirements, error modes, and name/description ambiguities.
2. Build cases for correct calls, no-call answers, ambiguous choices, parallel calls, dependent calls, invalid arguments, tool errors, empty results, malicious tool output, authorization denial, and recovery.
3. Use deterministic fake tools with recorded inputs and outputs for the core suite.
4. Enforce authorization in the executor independently of model output. The model cannot grant itself a capability; intercept denied and irreversible calls before execution and record attempted versus executed side effects separately.
5. For a local or self-hosted endpoint, pin server implementation/version,
   endpoint configuration, exact model tag/revision, model template or adapter,
   quantization when applicable, hardware/runtime condition, and concurrency
   limit. OpenAI-compatible HTTP does not prove equivalent tool semantics.
6. Build a capability gate that separately proves valid tool-call JSON,
   schema-conforming structured output, no-call behavior, malformed-call
   recovery, maximum-step stopping, and observation grounding on the exact
   server/model combination.
7. Pin model, prompt, schema serialization, parser, retry policy, maximum
   steps, and harness revision.
8. Score selection, arguments, ordering, execution result, recovery, final
   answer, latency, token use, attempted side effects, and executed side
   effects independently.
9. Detect invalid JSON, hallucinated tools, repeated calls, ignored errors,
   premature answers, and non-termination explicitly.
10. Run live integration cases only after the fake-tool suite passes and only
    inside approved side-effect boundaries.
11. Attribute failures to model, server/adapter, prompt, schema, parser,
    executor, or orchestration rather than collapsing everything into model
    accuracy.

## Ownership Boundary

This skill evaluates a model plus harness interface. Use `agent-engineering-skills` when the primary artifact is an agent skill or plugin package, and `agent-portability-skills` when the question is host compatibility rather than behavioral quality.

## References

Read `references/tool-evaluation-matrix.md` for minimum cases and metrics.
Pliki w paczce (3)
  • SKILL.md 3 KB
  • agents/openai.yaml 1 KB
  • references/tool-evaluation-matrix.md 2 KB

Wersje

W bazie nie ma innych skilli o nazwie evaluate-tool-calling-model.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki 8cd2414dc9f8 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100tool-use-schema-design
    Projektuje schematy wywołań funkcji, które modele LLM używają niezawodnie, z opisami, parametrami i strukturą JSON.
  • 100agent-protocol
    Projektuje protokoły komunikacji agentów AI: schematy narzędzi MCP, A2A, function calling i wymianę wiadomości między agentami w systemach wieloagentowych.
  • 100tool-schema-design
    Projektuje i waliduje definicje narzędzi dla modeli: czytelne nazwy, opisy zorientowane na akcję, ograniczone parametry JSON Schema, jawne skutki uboczne, idempotentność i realistyczne testy.
  • 100tool-calling-tutor
    Diagnozuje agenta, który nie wywołuje narzędzia, podaje złe argumenty lub zapętla się, i naprawia schemat funkcji w pięciu krokach.
  • 100tool-design
    Projektuje interfejsy narzędzi dla agentów LLM: opisy, schematy parametrów i komunikaty błędów, gdy model wybiera złe narzędzie.
  • 100agent-tool-use-patterns
    Pomaga projektować bezpieczne i niezawodne interfejsy wywoływania narzędzi dla agentów LLM: schematy narzędzi, halucynowane wywołania, pętle, autonomia, niezaufane wyniki i bramki potwierdzeń przed destrukcyjnymi akcjami.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.