agent-eval-compare
/agent-eval-compare
Porównuje dwa lub więcej skilli, wtyczek albo serwerów MCP na tych samych zasadach, rankinguje je i rekomenduje jedną.
- Autor
- SayandipBagchi ↗
- Repozytorium
- agent-evaluator ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 04.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 04.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Porównuje dwa lub więcej skilli, wtyczek albo serwerów MCP na tych samych zasadach, rankinguje je i rekomenduje jedną.
Oryginalny opis (EN)
Compare two or more agents (skills, plugins or MCP servers) head-to-head on the same weights, budget and host, rank them and recommend one with the trade-offs. Use when the user asks which of several skills, plugins or MCP servers to pick, or to compare versions of one agent. Not for a single agent.
Jak działa
SKILL.md bez nagłówków drugiego poziomu · 10 linii, 154 słów
Podgląd SKILL.md
--- name: agent-eval-compare description: Compare two or more agents (skills, plugins or MCP servers) head-to-head on the same weights, budget and host, rank them and recommend one with the trade-offs. Use when the user asks which of several skills, plugins or MCP servers to pick, or to compare versions of one agent. Not for a single agent. license: MIT --- # Head-to-head comparison 1. Confirm one weight profile for all candidates (same rules as agent-eval-evaluate step 3). Each agent gets its own 20-minute budget. 2. Evaluate each agent with identical flags (same `--profile/--weights`, `--provider host`, sandbox), each in its own run dir, following agent-eval-evaluate. Where possible, give all of them the same tasks: put a shared `evals/tasks.yaml` into each run copy. 3. `agent-eval compare <run1>/out/agent-eval-report.json <run2>/out/agent-eval-report.json ... -o <cmp>` writes comparison.json and comparison.md. 4. Recommendation rule: highest overall score among agents without a Fail verdict; ties go to the security average (static-security, pentest, mcp-eval), then to task success. The rationale names the three largest dimension gaps and the trade-off. If every agent fails, recommend none and say why. 5. Check `same_conditions`. If it is false, say the comparison is not like-for-like. 6. Page: ranking table (verdict, grade, score, security average, the 12 dimensions), the recommended pick and rationale, and links to each agent's report.
Wersje
W bazie nie ma innych skilli o nazwie agent-eval-compare.
Migawka bazy z 13.11.2026 · wersja paczki 4ca5e506f8a0 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100agent-plugin-eval
Audytuje, ocenia w skali 0-100 i porównuje repozytoria z przenośnymi Agent Plugins względem oficjalnej specyfikacji, w tym plugin.json, mcp.json, skille i serwery MCP. - 95agent-skill-discovery
Skanuje środowisko i pokazuje katalog zainstalowanych wtyczek, agentów, skilli i serwerów MCP, także w bieżącym repozytorium. - 100customizations-in-the-agent-host
Opisuje architekturę i błędy przy włączaniu rozszerzeń agenta: wtyczek, serwerów MCP, agentów i skilli. - 100weekly-update
Sprawdza co tydzień aktualizacje narzędzi agenta AI, skilli, pluginów i serwerów MCP i pisze krótki raport, nic nie instalując bez zgody. - 100agent-eval
Porównuje agentów kodujących w zadaniach własnych pod kątem skuteczności, kosztu i czasu, by wybrać lepszego lub właściwą konfigurację. - 100skillqa
Ocenia przydatność skilli, pluginów i serwerów MCP przed instalacją i wskazuje lepsze wbudowane rozwiązania.