Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

evaluate-embabel

/evaluate-embabel

Konfiguruje ewaluację agentów Embabel z użyciem Dokimos, w tym ich wywołań narzędzi i śladu wykonania.

Repozytorium
dokimos ↗
Licencja
MIT
Ostatnia zmiana repozytorium
12.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 12.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Konfiguruje ewaluację agentów Embabel z użyciem Dokimos, w tym ich wywołań narzędzi i śladu wykonania.

Oryginalny opis (EN)

Sets up evaluation of Embabel agents using Dokimos. Use this skill when the user wants to evaluate, test, or benchmark an Embabel agent, its tool calls, or its execution trace. Also use when the user mentions Embabel evaluation or integrating Dokimos with an Embabel project.

Jak działa

  1. Where things live
  2. How it works
  3. Evaluation pattern
  4. Reading tool results and arguments back typed
  5. Dependencies
  6. Steps
Sekcje z nagłówków SKILL.md, w oryginale · 71 linii, 367 słów
Podgląd SKILL.md
---
name: evaluate-embabel
description: Sets up evaluation of Embabel agents using Dokimos. Use this skill when the user wants to evaluate, test, or benchmark an Embabel agent, its tool calls, or its execution trace. Also use when the user mentions Embabel evaluation or integrating Dokimos with an Embabel project.
---

# Evaluate Embabel

Set up Dokimos evaluation for an Embabel agent. The user will describe their agent and evaluation goals via `$ARGUMENTS`.

Requires Java 21 or later: Embabel's published artifacts are built for Java 21. The rest of Dokimos stays on Java 17.

## Where things live

- **Embabel support**: `dokimos-embabel/src/main/java/dev/dokimos/embabel/EmbabelSupport.java`
- **Trace collector**: `dokimos-embabel/src/main/java/dev/dokimos/embabel/EmbabelTraceCollector.java`
- **Maven dependency**: `dev.dokimos:dokimos-embabel`

Before writing code, read `EmbabelTraceCollector.java` to understand how events map to a trace.

## How it works

Embabel reports tool calls through per-event `AgenticEventListener` callbacks during a run, not as a return value. `EmbabelTraceCollector` implements that listener and assembles an `AgentTrace` from the `ToolCallResponseEvent`s it observes.

- **`EmbabelSupport.attach(ProcessOptions, collector)`** — registers the collector on `ProcessOptions`, returning new options to run with.
- **`EmbabelSupport.attach(AgentInvocation.Builder)`** — registers a fresh collector on an invocation builder and returns it.
- **`collector.trace()`** — materializes the `AgentTrace` after the run.
- **`EmbabelSupport.toToolDefinitions(collector)`** — synthesizes `ToolDefinition`s from the observed tool names. These carry an empty input schema, so `ToolDescriptionReliabilityEvaluator` coverage is weakened; build the definitions by hand if you need full schema coverage.

The collector is single-run and not thread-safe. Reuse one instance only after calling `reset()`.

## Evaluation pattern

```java
EmbabelTraceCollector collector = new EmbabelTraceCollector();
ProcessOptions options = EmbabelSupport.attach(new ProcessOptions(), collector);

AgentInvocation<String> invocation =
        AgentInvocation.builder(platform).options(options).build(String.class);
invocation.invoke(input);

AgentTrace trace = collector.trace();
List<ToolDefinition> tools = EmbabelSupport.toToolDefinitions(collector);
EvalTestCase testCase = trace.toTestCase(input, tools);

var validity = ToolCallValidityEvaluator.builder().build().evaluate(testCase);
var correctness = ToolCorrectnessEvaluator.builder().build().evaluate(testCase);
```

Always construct evaluators with `XEvaluator.builder()...build()`; they have private constructors.

## Reading tool results and arguments back typed

A captured `ToolCall` keeps its arguments as a `Map` and its result as the string Embabel returned. Read them typed with `call.argumentsAs(MyArgs.class)` and, when the result is JSON, `call.resultAs(MyResult.class)` (or `OutputType` for generics).

## Dependencies

```xml
<dependency>
    <groupId>dev.dokimos</groupId>
    <artifactId>dokimos-embabel</artifactId>
    <version>${dokimos.version}</version>
</dependency>
```

Embabel itself is a provided-scope dependency: the user brings their own version (`com.embabel.agent:embabel-agent-api`).

## Steps

1. Understand from `$ARGUMENTS` what the Embabel agent does and which tools it calls
2. Confirm the project builds on Java 21
3. Attach an `EmbabelTraceCollector` to the run and capture `collector.trace()`
4. Convert to an `EvalTestCase` with `trace.toTestCase(input, tools)`
5. Score with the agent evaluators (prefer deterministic ones for CI)
6. For the full agent evaluator set, use the `evaluate-agent` skill

Wersje

W bazie nie ma innych skilli o nazwie evaluate-embabel.

Migawka bazy z 13.11.2026 · wersja paczki de14f5326c73 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100evaluate-koog
    Konfiguruje ewaluację i testy agentów AI Koog z użyciem Dokimos, także przy integracji Koog z ewaluacjami.
  • 100evaluate-agent
    Konfiguruje ewaluację agentów AI z Dokimos: poprawność wywołań narzędzi, ukończenie zadań, halucynacje argumentów i jakość definicji narzędzi.
  • 100agent-evaluation
    Ocenia agentów LLM i workflow z narzędziami: powodzenie zadań, trafność narzędzi, opóźnienia i koszt, bezpieczeństwo oraz zestawy regresji.
  • 100evaluate-mcp-gateway
    Ocenia bramę MCP: dokładność wywołań narzędzi, walidację wejścia, niezawodność transportu, jakość wyboru narzędzi przez LLM i obsługę błędów.
  • 100evaluation
    Wspiera budowę ewaluacji agentów i frameworków testowych: rubryki, LLM-as-judge, ocena wielowymiarowa i bramki jakości dla potoków agentów.
  • 90agent-evaluation
    Buduje lub ulepsza ewaluację agentów: metryki Pass@k i kosztu, weryfikatory, LLM-as-a-judge, rubryki i testy istotności.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.