agent-efficiency-audit
/agent-efficiency-audit
Ocenia efektywność systemu wielu agentów: czy koszt jest uzasadniony, ile kosztuje jednostka wyniku i które agenty warto zatrzymać lub wyłączyć.
- Autor
- Trustbaselab ↗
- Repozytorium
- vigiliae ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 08.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 08.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Ocenia efektywność systemu wielu agentów: czy koszt jest uzasadniony, ile kosztuje jednostka wyniku i które agenty warto zatrzymać lub wyłączyć.
Oryginalny opis (EN)
审计多 Agent 系统的「效率」——不是确认它在跑,而是判断这钱花得值不值:期望成本 vs 实际成本、单位产出成本、效率回归检测、空转识别、ROI 判断(该留该砍)。当 Agent 数量增长后要回答「这个 Agent 有用吗」「为什么同样的任务突然贵了 10 倍」「哪个该停」「要不要再加一个」时使用。当用户说「这任务花 100 块正常吗」「哪个 Agent 该砍」「成本怎么突然涨了」「怎么判断值不值」时使用。
Jak działa
- 何时使用
- 核心判断:三个「花 vs 得」
- 执行流程(七步)
- 输出模板
- 诚实边界
Podgląd SKILL.md
---
name: agent-efficiency-audit
description: 审计多 Agent 系统的「效率」——不是确认它在跑,而是判断这钱花得值不值:期望成本 vs 实际成本、单位产出成本、效率回归检测、空转识别、ROI 判断(该留该砍)。当 Agent 数量增长后要回答「这个 Agent 有用吗」「为什么同样的任务突然贵了 10 倍」「哪个该停」「要不要再加一个」时使用。当用户说「这任务花 100 块正常吗」「哪个 Agent 该砍」「成本怎么突然涨了」「怎么判断值不值」时使用。
---
# Agent 效率审计
## 何时使用
- Agent 数量增长后,要判断哪些该留、哪些该砍
- 成本突然上涨,要定位原因
- 要决定「再加一个 Agent 值不值」
- 要回答「这套系统到底创造了多少价值」
**不适用**:
- 只想知道花了多少钱 → 用 `agent-cost-accounting`
- Agent 卡住了跑不动 → 用 `agent-fleet-ops`
---
## 核心判断:三个「花 vs 得」
### 判断 1:期望成本 vs 实际成本(单次异常)
```
⭐ 这是最实用的一条 —— 你说「应该花 10 块,花了 100 块」
做法:
① 每类任务建立一个「期望成本」(实测基线)
② 每次实际成本与期望比
③ 偏离超阈值 → 标记异常
```
**阈值参考:**
| 偏差 | 判定 | 动作 |
|:-:|---|---|
| < 1.5× | 正常波动 | 记录 |
| 1.5–3× | 偏高 | 告警,查原因 |
| 3–10× | 异常 | 人工介入 |
| > 10× | 严重 | 自动暂停该任务 |
**⭐⭐ 关键:期望值必须是「同类任务的实测中位数」,不是拍脑袋。**
```
❌ 错:「这个任务大概 10 块吧」
✅ 对:「这个任务过去 30 次运行,成本中位数 ¥2.3,P90 ¥4.1」
→ 超过 ¥4.1×3 = ¥12.3 就算异常
```
### 判断 2:单位产出成本(价值判断)
**⭐ 光看单次成本没意义。要看「每个有效产出花多少」。**
```
单位成本 = 窗口总成本 / 有效产出数量
"有效"的定义(关键):
· 数据采集:pass 了 A/B 级校验的条数(不含 E 级)
· 判定服务:给出明确结论的条数(不含「无法判定」)
· 监控:真正发现问题的次数(不是「跑了多少次」)
· 报告:被人采用/打开的份数
```
**⭐⭐ 陷阱:分母用「跑了多少次」而不是「产出多少」→ 会奖励空转。**
```
反例:
Agent A:每天跑 288 次,成本 ¥28.8,产出 0 条有效数据
→ ¥/条 = ∞ ← 该砍
Agent B:每天跑 4 次,成本 ¥8,产出 40 条 A 级数据
→ ¥0.20/条 ← 该加
⭐ 如果只比「总成本」,A 看起来还便宜
⭐ 必须比「单位产出成本」
```
### 判断 3:效率回归(时间维度)
**⭐ 同样的任务,成本随时间涨了 → 一定有原因。**
```
监控指标:同类任务的「成本中位数」按周对比
正常:波动 < 20%
异常:涨 50% 以上 → 必须查
```
**常见原因(按概率排序):**
| 原因 | 表现 | 修法 |
|---|:-:|---|
| 输入变长了 | 上下文/历史累积 | 压缩历史、定期开新会话 |
| 工具变多了 | 每次都要带全部 schema | 拆 MCP、按需加载 |
| 重试变多了 | 失败率高,反复重试 | 修失败根因 |
| 模型换了 | 新模型更贵 | 换回或降级 |
| 任务变复杂了 | 提示词改长了 | 拆分任务 |
| 缓存失效 | 命中率下降 | 稳定前缀、避免动态内容前置 |
---
## 执行流程(七步)
### ① 建立「任务 → 期望成本」基线表
```
对每类任务(或每个 Agent),跑 10-30 次,取中位数和 P90:
| 任务 | 中位成本 | P90 成本 | 阈值(P90×3) | 样本数 |
|---|---|---|---|---|
| vigiliae 总览 | ¥2.1 | ¥3.8 | ¥11.4 | 30 |
| sator 采集 | ¥6.5 | ¥12.0 | ¥36.0 | 12 |
| rcb-master 判定 | ¥0.9 | ¥1.5 | ¥4.5 | 50 |
```
**⚠️ 样本 < 10 的任务不要设阈值**——统计无意义。
### ② 每次运行后比对
```
本次成本 > 阈值 → 标记异常
本次成本 = 0 但应该 > 0(如缓存全命中)→ 正常
本次成本 = 0 且产出为空 → 空转,标 E
```
### ③ 空转识别(最隐蔽的问题)
**⭐⭐ 定义:消耗了资源,但产出与不运行几乎无差别。**
```
判定方法:把最近 N 次的产出拿出来对比
① 输出完全相同 → 空转
② 输出都是空容器({count:0, items:[]})→ 空转
③ 输出都是状态复读("status written")→ 空转
④ 输出里有真实数值且每次不同 → 有产出
```
**⭐ 空转的根因往往不是「Agent 写错了」,而是:**
```
· 被监控的对象本身不存在(没有本地实例 → online 永远 false)
· 数据源路径写错(找错目录 → 永远找到 0 个文件)
· 前置条件未满足(没有待办任务 → 队列永远空)
⭐ 修法:把传感器对准「真的有东西」的地方,或者把 Agent 停掉
```
### ④ ROI 判断(该留该砍)
**给每个 Agent 算一个 ROI 分:**
```
ROI 分 = 产出价值 / 成本
产出价值怎么估(三种方法,按可信度排序):
① 直接收入:这个 Agent 支撑的服务卖了多少钱
② 时间替代:省了多少人工小时 × 时薪
③ 风险避免:避免的损失(如数据错误导致的返工)
若无任何可估价值 → ROI 分 = 0 → 考虑停用
```
**决策矩阵:**
| 成本 | 产出 | 决策 |
|:-:|:-:|---|
| 低 | 高 | 保留,可加频 |
| 低 | 低 | 保留(成本可忽略) |
| 高 | 高 | 保留,找降本方式 |
| **高** | **低** | **砍 或 彻底改造** |
| 高 | 零(空转) | **立即砍** |
### ⑤ 增量判断(要不要再加一个)
**⭐ 加新 Agent 前必算这笔账:**
```
新增 Agent 的预期成本 = 单次成本 × 日频率 × 30
新增 Agent 的预期产出 = ?
判断:
预期月成本 < 月预算的 10% → 可以试
预期月成本 > 月预算的 30% → 要慎重
无法估出预期产出 → 不要加(不是「先加了再说」)
```
**⭐⭐ 经验:Agent 数量增长的成本不是线性的。**
```
12 个 Agent 时:监控成本可忽略
50 个 Agent 时:调度、日志、看板、告警本身的成本会显著上升
⭐ 每加 10 个 Agent,重新审一次「监控开销占比」
```
### ⑥ 定期全量审计(每周一次)
```
输出一张表:
| Agent | 日频率 | 日成本 | 日有效产出 | 单位成本 | ROI 分 | 决策 |
|---|---:|---:|---:|---:|---:|---|
| ... | | | | | | 保留/降频/改造/砍 |
```
**⭐ 审计结论要落到动作,不能只出报告。**
### ⑦ 效率改进优先级
**按「省钱 / 工作量」排序:**
| 动作 | 省钱 | 工作量 | 优先 |
|---|:-:|:-:|:-:|
| 砍掉空转 Agent | 高 | 极低 | ⭐⭐⭐ |
| 降低非关键 Agent 频率 | 中高 | 极低 | ⭐⭐⭐ |
| 压缩固定提示词 | 中 | 低 | ⭐⭐ |
| 修失败重试根因 | 中 | 中 | ⭐⭐ |
| 拆重型任务 | 中 | 高 | ⭐ |
| 换轻模型 | 高 | 中 | ⭐⭐(视质量容忍度) |
---
## 输出模板
```
## Agent 效率审计 · YYYY-MM-DD
### 一、总体
今日总成本 ¥X | 有效产出 N 单位 | 综合单位成本 ¥Y/单位
余额 ¥Z | 可用 D 天
### 二、异常(优先看)
| Agent | 本次成本 | 期望 | 偏差 | 原因 |
|---|---:|---:|---:|---|
### 三、空转
| Agent | 日成本 | 产出特征 | 建议 |
|---|---:|---|---|
### 四、ROI 排名
| Agent | 日成本 | 日产出 | 单位成本 | 决策 |
|---|---:|---:|---:|---|
### 五、增量建议
| 拟加 Agent | 预期月成本 | 预期产出 | 建议 |
|---|---:|---|---|
### 六、本周动作(按优先级)
1. ...
```
---
## 诚实边界
- 「期望成本」必须基于实测样本,样本 < 10 的不要设阈值
- 「产出价值」若无法量化,**明确标「不可估」,不要编一个数字**
- 成本分摊是近似值,**不能用于对外财务口径**
- 砍 Agent 前要确认它没有隐性依赖(可能别的流程依赖它的产出)
- ROI 判断涉及业务价值,**最终由人决定,不由模型决定**
- 本 Skill 不含任何具体价格或预算数字,阈值需按自身情况标定
Wersje
W bazie nie ma innych skilli o nazwie agent-efficiency-audit.
Migawka bazy z 13.11.2026 · wersja paczki acbc058f4c44 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 91agent-turn-efficiency
Ogranicza liczbę wywołań narzędzi, gdy krótkie pytanie kosztuje zbyt wiele kroków. - 100audit-agent-efficiency
Analizuje transkrypt zakończonego agenta, znajduje zmarnowane tury i zapisuje poprawki, by następny przebieg był szybszy. - 100evaluate-multi-agent-swarm
Ocenia rój wielu agentów: jakość konsensusu, efektywność licytacji, zgodność głosów, przyspieszenie równoległe i koszt zadania roju. - 100efficiency-audit
Mierzy koszt i wydajność pracy agentów kodujących AI w tokenach, czasie i dolarach, dzielone według sesji, roli, dnia i subagenta, metrowane przez ccusage. - 100context-report
Analizuje efektywność kontekstu w Claude Code i zużycie tokenów w sesji. - 100agent-efficiency
Mierzy, które agenty OpenCode zjadają limit lub rachunek za API, znajduje, gdzie giną tokeny, i proponuje tańszy plan modeli dla każdego agenta po zatwierdzeniu.