Przejdź do treści
Biblioteka skilli
Programowanie · Przegląd i audyt

tool-calling-flow-audit

/tool-calling-flow-audit

Przegląda przepływy wywołań narzędzi w backendzie i agentach pod kątem poprawności, bezpieczeństwa, idempotencji i uprawnień.

Repozytorium
line-harness ↗
Licencja
MIT
Ostatnia zmiana repozytorium
11.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
2
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Przegląda przepływy wywołań narzędzi w backendzie i agentach pod kątem poprawności, bezpieczeństwa, idempotencji i uprawnień.

Oryginalny opis (EN)

Audit backend and agent tool-calling flows for correctness, safety, routing, classifier decisions, argument validation, idempotency, retries, permissions, observability, and business workflow alignment. Use when reviewing whether an AI agent calls the right tools in the right order, whether router/classifier logic gates tools correctly, or whether backend tool execution can cause wrong orders, duplicate actions, cost spikes, or customer-impacting failures.

Jak działa

  1. Audit Flow
  2. Failure Modes To Hunt
  3. Required Evidence
  4. Output Shape
Sekcje z nagłówków SKILL.md, w oryginale · 56 linii, 263 słów
Podgląd SKILL.md
---
name: tool-calling-flow-audit
description: Audit backend and agent tool-calling flows for correctness, safety, routing, classifier decisions, argument validation, idempotency, retries, permissions, observability, and business workflow alignment. Use when reviewing whether an AI agent calls the right tools in the right order, whether router/classifier logic gates tools correctly, or whether backend tool execution can cause wrong orders, duplicate actions, cost spikes, or customer-impacting failures.
verified: 2026-08
---

# Tool Calling Flow Audit

Use this skill to review agent/tool behavior as a backend workflow, not just an LLM output.

## Audit Flow

1. Identify the intended business workflow and tool inventory.
2. Trace the actual path: user input -> router/classifier -> prompt/context -> tool selection ->
   argument construction -> backend validation -> side effect -> response.
3. Check each tool boundary:
   - Auth and permission.
   - Required/optional arguments.
   - Schema validation.
   - Idempotency key or deduplication.
   - Retry behavior and timeout.
   - Error recovery and user-visible fallback.
   - Logging/tracing without secrets or PII leakage.
4. Compare traces against expected flows for happy path, edge cases, and forbidden actions.
5. Classify findings by business impact.

## Failure Modes To Hunt

- Wrong intent routes to a side-effect tool.
- Tool called with hallucinated IDs, prices, menu items, addresses, or customer facts.
- Missing confirmation before irreversible or paid actions.
- Duplicate order/payment/message due to retry or refresh.
- Tool result ignored and model replies from stale context.
- Tool errors converted into confident false success.
- Classifier fallback uses generic generation when deterministic tool/rule should win.
- Cost spike from unnecessary multi-step tool loops.

## Required Evidence

Prefer real traces, logs, tests, or code references. If unavailable, produce a test plan and mark
the audit as static review only.

## Output Shape

```markdown
## Verdict
[Correct / risky / broken, confidence]

## Flow Map
[Observed tool sequence and decision points]

## Findings
[Severity, file/trace, impact, fix]

## Eval Tests To Add
[Tool-flow regression cases]

## Rollout Guard
[Monitoring and rollback condition]
```
Pliki w paczce (2)
  • SKILL.md 2 KB
  • agents/openai.yaml 1 KB

Wersje

W bazie nie ma innych skilli o nazwie tool-calling-flow-audit.

Migawka bazy z 13.11.2026 · wersja paczki 086c914b226f (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90review-agent-tools
    Sprawdza narzędzia agentów pod kątem idempotencji, walidacji wejścia, jakości docstringów i konwencji.
  • 100code-review
    Przegląda zmiany w kodzie C pod kątem poprawności, bezpieczeństwa i stylu.
  • 100tool-calling-principles
    Projektuje interfejsy narzędzi dla agentów LLM: nazwy, opisy, ścisłe schematy, kontrakty błędów i poziomy uprawnień.
  • 100tool-budget-audit
    Mierzy, ile kontekstu zjadają definicje narzędzi i wyniki ich działania i decyduje o przycięciu katalogu narzędzi.
  • 85backend-error-observability-review
    Przegląda obsługę błędów, wyjątki, logowanie, metryki i śledzenie w kodzie backendu pod kątem jakości obserwowalności.
  • 100audit-code-review
    Recenzuje pull request lub diff pod kątem poprawności, bezpieczeństwa i utrzymywalności.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.