Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

multi-agent-eval-harness

/multi-agent-eval-harness

Mierzy role w systemach wielu agentów, testuje błędy współpracy, takie jak utrata przekazań, dryf ról i pętle obwiniania, i ocenia transkrypcje.

Repozytorium
jeo-skills ↗
Licencja
MIT
Ostatnia zmiana repozytorium
13.11.2026

Ocena i bezpieczeństwo

95/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena10 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 13.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Mierzy role w systemach wielu agentów, testuje błędy współpracy, takie jak utrata przekazań, dryf ról i pętle obwiniania, i ocenia transkrypcje.

Oryginalny opis (EN)

Role-level metrics, coordination-failure tests, and transcript grading for multi-agent systems. Use when single-agent eval misses bugs that only appear when agents collaborate — handoff drops, role drift, blame loops, deadlocks.

Jak działa

  1. Overview
  2. When to use
  3. What to measure
  4. Coordination-failure test suite
  5. Transcript grading
  6. Harness layout
  7. Quick start
  8. CI gate
  9. Further reading
Sekcje z nagłówków SKILL.md, w oryginale · 95 linii, 425 słów
Podgląd SKILL.md
---
name: multi-agent-eval-harness
description: Role-level metrics, coordination-failure tests, and transcript grading for multi-agent systems. Use when single-agent eval misses bugs that only appear when agents collaborate — handoff drops, role drift, blame loops, deadlocks.
---

# Multi-Agent Eval Harness

## Overview

Eval that works for a single agent does not catch *coordination* failures: dropped handoffs, role confusion, blame loops, partial state transfer. This harness adds role-level metrics, coordination-failure scenarios, and full transcript grading.

## When to use

- ≥2 agents collaborating (orchestrator + workers, peer agents, A2A)
- Bugs that only appear in production multi-agent runs
- Need to compare orchestration patterns (hierarchical vs peer vs blackboard)
- A2A protocol integration (see `a2a-protocol`)

## What to measure

| Layer | Metric | Why |
|-------|--------|-----|
| Per-role | task completion rate | Did each role do its job? |
| Per-role | tool-call validity | Did each role use tools correctly? |
| Handoff | state-transfer completeness | Did receiver get what it needs? |
| Handoff | handoff latency | Coordination overhead |
| System | end-to-end success | Did the whole thing work? |
| System | total cost / latency | Production viability |
| Failure | blame loop detection | Are agents finger-pointing? |
| Failure | deadlock detection | Waiting on each other? |

## Coordination-failure test suite

Inject these scenarios deliberately:

1. **Drop a message** — verify receiver detects, retries
2. **Stale state** — receiver gets outdated context, must refresh
3. **Conflicting instructions** — two agents send opposing orders, who wins?
4. **Silent peer failure** — peer agent times out without error
5. **Role bleed** — orchestrator tries to do worker's job
6. **Authority confusion** — worker overrides orchestrator decision
7. **Budget exhaustion mid-handoff** — graceful or stuck?

## Transcript grading

```python
RUBRIC = {
    "role_adherence": "Did each agent stay in its declared role?",
    "handoff_quality": "Did handoffs include needed context?",
    "termination": "Did the system stop cleanly when done?",
    "blame_loop": "Score 0 if any blame loop detected.",
    "user_facing_quality": "Final answer quality vs golden.",
}

def grade_transcript(transcript, golden):
    return judge_llm.score(transcript, rubric=RUBRIC, golden=golden)
```

LLM-as-judge prompt must see the full transcript with role labels, not just final output.

## Harness layout

```
multi_agent_eval/
  scenarios/
    drop_message.yaml
    stale_state.yaml
    ...
  runs/
    <ts>/
      transcript.jsonl
      scores.json
  grader.py
  reporter.py
```

## Quick start

```python
from harness import Scenario, run_scenario, grade

scenarios = Scenario.load_all("scenarios/")
results = [run_scenario(s, agents=my_system) for s in scenarios]
scores = [grade(r, rubric=RUBRIC) for r in results]
report(scores)
```

## CI gate

- Block merge if `role_adherence` < 0.9 on regression set
- Block if any new `blame_loop` detected
- Block if end-to-end success drops > 5pp vs baseline

## Further reading

- LangGraph Studio evaluation
- AutoGen / CrewAI — orchestration patterns (hierarchical, peer, blackboard)
- Pair with: `agent-evaluation`, `agent-observability`

Wersje

W bazie nie ma innych skilli o nazwie multi-agent-eval-harness.

Migawka bazy z 13.11.2026 · wersja paczki 3a55b8db40c1 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100multi-agent-planner
    Projektuje architekturę orkiestracji wieloagentowej: role agentów, wzorce komunikacji, protokoły przekazań i odzyskiwanie po awariach w zespołowych systemach AI.
  • 9015-ai-agent-multi-agent-coordination-spec
    Opisuje koordynację wielu agentów w jednym zadaniu: topologię, role, izolację notatników roboczych, nadzór, kontrakt wiadomości i obsługę awarii.
  • 100evals-harness
    Projektuje harnessy ewaluacyjne: schematy zadań, metryki, wersjonowanie zbiorów danych i wzorce eval-as-code.
  • 100eval-harness
    Mierzy wydajność agentów, wskazuje słabe strony i śledzi poprawę w czasie, przy ocenie jakości agentów, porównywaniu podejść i walidacji zmian.
  • 100eval-harness
    Mierzy wydajność agentów, wskazuje słabe strony i śledzi poprawę w czasie, przy ocenie jakości agentów, porównywaniu podejść i walidacji zmian.
  • 86set-harness
    Pokazuje i zmienia ustawienia Oh My Harness: funkcje, progi, routing, pętle, weryfikatory i tryb wielu agentów.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.