Przejdź do treści
Biblioteka skilli
AI i agenci · Przegląd i audyt

agent-efficiency-audit

/agent-efficiency-audit

Ocenia efektywność systemu wielu agentów: czy koszt jest uzasadniony, ile kosztuje jednostka wyniku i które agenty warto zatrzymać lub wyłączyć.

Repozytorium
vigiliae ↗
Licencja
MIT
Ostatnia zmiana repozytorium
08.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 08.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Ocenia efektywność systemu wielu agentów: czy koszt jest uzasadniony, ile kosztuje jednostka wyniku i które agenty warto zatrzymać lub wyłączyć.

Oryginalny opis (EN)

审计多 Agent 系统的「效率」——不是确认它在跑,而是判断这钱花得值不值:期望成本 vs 实际成本、单位产出成本、效率回归检测、空转识别、ROI 判断(该留该砍)。当 Agent 数量增长后要回答「这个 Agent 有用吗」「为什么同样的任务突然贵了 10 倍」「哪个该停」「要不要再加一个」时使用。当用户说「这任务花 100 块正常吗」「哪个 Agent 该砍」「成本怎么突然涨了」「怎么判断值不值」时使用。

Jak działa

  1. 何时使用
  2. 核心判断:三个「花 vs 得」
  3. 执行流程(七步)
  4. 输出模板
  5. 诚实边界
Sekcje z nagłówków SKILL.md, w oryginale · 258 linii, 749 słów
Podgląd SKILL.md
---
name: agent-efficiency-audit
description: 审计多 Agent 系统的「效率」——不是确认它在跑,而是判断这钱花得值不值:期望成本 vs 实际成本、单位产出成本、效率回归检测、空转识别、ROI 判断(该留该砍)。当 Agent 数量增长后要回答「这个 Agent 有用吗」「为什么同样的任务突然贵了 10 倍」「哪个该停」「要不要再加一个」时使用。当用户说「这任务花 100 块正常吗」「哪个 Agent 该砍」「成本怎么突然涨了」「怎么判断值不值」时使用。
---

# Agent 效率审计

## 何时使用

- Agent 数量增长后,要判断哪些该留、哪些该砍
- 成本突然上涨,要定位原因
- 要决定「再加一个 Agent 值不值」
- 要回答「这套系统到底创造了多少价值」

**不适用**:

- 只想知道花了多少钱 → 用 `agent-cost-accounting`
- Agent 卡住了跑不动 → 用 `agent-fleet-ops`

---

## 核心判断:三个「花 vs 得」

### 判断 1:期望成本 vs 实际成本(单次异常)

```
⭐ 这是最实用的一条 —— 你说「应该花 10 块,花了 100 块」

做法:
① 每类任务建立一个「期望成本」(实测基线)
② 每次实际成本与期望比
③ 偏离超阈值 → 标记异常
```

**阈值参考:**

| 偏差 | 判定 | 动作 |
|:-:|---|---|
| < 1.5× | 正常波动 | 记录 |
| 1.5–3× | 偏高 | 告警,查原因 |
| 3–10× | 异常 | 人工介入 |
| > 10× | 严重 | 自动暂停该任务 |

**⭐⭐ 关键:期望值必须是「同类任务的实测中位数」,不是拍脑袋。**

```
❌ 错:「这个任务大概 10 块吧」
✅ 对:「这个任务过去 30 次运行,成本中位数 ¥2.3,P90 ¥4.1」
   → 超过 ¥4.1×3 = ¥12.3 就算异常
```

### 判断 2:单位产出成本(价值判断)

**⭐ 光看单次成本没意义。要看「每个有效产出花多少」。**

```
单位成本 = 窗口总成本 / 有效产出数量

"有效"的定义(关键):
  · 数据采集:pass 了 A/B 级校验的条数(不含 E 级)
  · 判定服务:给出明确结论的条数(不含「无法判定」)
  · 监控:真正发现问题的次数(不是「跑了多少次」)
  · 报告:被人采用/打开的份数
```

**⭐⭐ 陷阱:分母用「跑了多少次」而不是「产出多少」→ 会奖励空转。**

```
反例:
  Agent A:每天跑 288 次,成本 ¥28.8,产出 0 条有效数据
          → ¥/条 = ∞  ← 该砍
  Agent B:每天跑 4 次,成本 ¥8,产出 40 条 A 级数据
          → ¥0.20/条  ← 该加

⭐ 如果只比「总成本」,A 看起来还便宜
⭐ 必须比「单位产出成本」
```

### 判断 3:效率回归(时间维度)

**⭐ 同样的任务,成本随时间涨了 → 一定有原因。**

```
监控指标:同类任务的「成本中位数」按周对比

正常:波动 < 20%
异常:涨 50% 以上 → 必须查
```

**常见原因(按概率排序):**

| 原因 | 表现 | 修法 |
|---|:-:|---|
| 输入变长了 | 上下文/历史累积 | 压缩历史、定期开新会话 |
| 工具变多了 | 每次都要带全部 schema | 拆 MCP、按需加载 |
| 重试变多了 | 失败率高,反复重试 | 修失败根因 |
| 模型换了 | 新模型更贵 | 换回或降级 |
| 任务变复杂了 | 提示词改长了 | 拆分任务 |
| 缓存失效 | 命中率下降 | 稳定前缀、避免动态内容前置 |

---

## 执行流程(七步)

### ① 建立「任务 → 期望成本」基线表

```
对每类任务(或每个 Agent),跑 10-30 次,取中位数和 P90:

| 任务 | 中位成本 | P90 成本 | 阈值(P90×3) | 样本数 |
|---|---|---|---|---|
| vigiliae 总览 | ¥2.1 | ¥3.8 | ¥11.4 | 30 |
| sator 采集 | ¥6.5 | ¥12.0 | ¥36.0 | 12 |
| rcb-master 判定 | ¥0.9 | ¥1.5 | ¥4.5 | 50 |
```

**⚠️ 样本 < 10 的任务不要设阈值**——统计无意义。

### ② 每次运行后比对

```
本次成本 > 阈值 → 标记异常
本次成本 = 0 但应该 > 0(如缓存全命中)→ 正常
本次成本 = 0 且产出为空 → 空转,标 E
```

### ③ 空转识别(最隐蔽的问题)

**⭐⭐ 定义:消耗了资源,但产出与不运行几乎无差别。**

```
判定方法:把最近 N 次的产出拿出来对比
  ① 输出完全相同 → 空转
  ② 输出都是空容器({count:0, items:[]})→ 空转
  ③ 输出都是状态复读("status written")→ 空转
  ④ 输出里有真实数值且每次不同 → 有产出
```

**⭐ 空转的根因往往不是「Agent 写错了」,而是:**
```
· 被监控的对象本身不存在(没有本地实例 → online 永远 false)
· 数据源路径写错(找错目录 → 永远找到 0 个文件)
· 前置条件未满足(没有待办任务 → 队列永远空)

⭐ 修法:把传感器对准「真的有东西」的地方,或者把 Agent 停掉
```

### ④ ROI 判断(该留该砍)

**给每个 Agent 算一个 ROI 分:**

```
ROI 分 = 产出价值 / 成本

产出价值怎么估(三种方法,按可信度排序):
  ① 直接收入:这个 Agent 支撑的服务卖了多少钱
  ② 时间替代:省了多少人工小时 × 时薪
  ③ 风险避免:避免的损失(如数据错误导致的返工)

若无任何可估价值 → ROI 分 = 0 → 考虑停用
```

**决策矩阵:**

| 成本 | 产出 | 决策 |
|:-:|:-:|---|
| 低 | 高 | 保留,可加频 |
| 低 | 低 | 保留(成本可忽略) |
| 高 | 高 | 保留,找降本方式 |
| **高** | **低** | **砍 或 彻底改造** |
| 高 | 零(空转) | **立即砍** |

### ⑤ 增量判断(要不要再加一个)

**⭐ 加新 Agent 前必算这笔账:**

```
新增 Agent 的预期成本 = 单次成本 × 日频率 × 30
新增 Agent 的预期产出 = ?

判断:
  预期月成本 < 月预算的 10%  → 可以试
  预期月成本 > 月预算的 30%  → 要慎重
  无法估出预期产出           → 不要加(不是「先加了再说」)
```

**⭐⭐ 经验:Agent 数量增长的成本不是线性的。**

```
12 个 Agent 时:监控成本可忽略
50 个 Agent 时:调度、日志、看板、告警本身的成本会显著上升

⭐ 每加 10 个 Agent,重新审一次「监控开销占比」
```

### ⑥ 定期全量审计(每周一次)

```
输出一张表:

| Agent | 日频率 | 日成本 | 日有效产出 | 单位成本 | ROI 分 | 决策 |
|---|---:|---:|---:|---:|---:|---|
| ... | | | | | | 保留/降频/改造/砍 |
```

**⭐ 审计结论要落到动作,不能只出报告。**

### ⑦ 效率改进优先级

**按「省钱 / 工作量」排序:**

| 动作 | 省钱 | 工作量 | 优先 |
|---|:-:|:-:|:-:|
| 砍掉空转 Agent | 高 | 极低 | ⭐⭐⭐ |
| 降低非关键 Agent 频率 | 中高 | 极低 | ⭐⭐⭐ |
| 压缩固定提示词 | 中 | 低 | ⭐⭐ |
| 修失败重试根因 | 中 | 中 | ⭐⭐ |
| 拆重型任务 | 中 | 高 | ⭐ |
| 换轻模型 | 高 | 中 | ⭐⭐(视质量容忍度) |

---

## 输出模板

```
## Agent 效率审计 · YYYY-MM-DD

### 一、总体
今日总成本 ¥X | 有效产出 N 单位 | 综合单位成本 ¥Y/单位
余额 ¥Z | 可用 D 天

### 二、异常(优先看)
| Agent | 本次成本 | 期望 | 偏差 | 原因 |
|---|---:|---:|---:|---|

### 三、空转
| Agent | 日成本 | 产出特征 | 建议 |
|---|---:|---|---|

### 四、ROI 排名
| Agent | 日成本 | 日产出 | 单位成本 | 决策 |
|---|---:|---:|---:|---|

### 五、增量建议
| 拟加 Agent | 预期月成本 | 预期产出 | 建议 |
|---|---:|---|---|

### 六、本周动作(按优先级)
1. ...
```

---

## 诚实边界

- 「期望成本」必须基于实测样本,样本 < 10 的不要设阈值
- 「产出价值」若无法量化,**明确标「不可估」,不要编一个数字**
- 成本分摊是近似值,**不能用于对外财务口径**
- 砍 Agent 前要确认它没有隐性依赖(可能别的流程依赖它的产出)
- ROI 判断涉及业务价值,**最终由人决定,不由模型决定**
- 本 Skill 不含任何具体价格或预算数字,阈值需按自身情况标定

Wersje

W bazie nie ma innych skilli o nazwie agent-efficiency-audit.

Migawka bazy z 13.11.2026 · wersja paczki acbc058f4c44 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 91agent-turn-efficiency
    Ogranicza liczbę wywołań narzędzi, gdy krótkie pytanie kosztuje zbyt wiele kroków.
  • 100audit-agent-efficiency
    Analizuje transkrypt zakończonego agenta, znajduje zmarnowane tury i zapisuje poprawki, by następny przebieg był szybszy.
  • 100evaluate-multi-agent-swarm
    Ocenia rój wielu agentów: jakość konsensusu, efektywność licytacji, zgodność głosów, przyspieszenie równoległe i koszt zadania roju.
  • 100efficiency-audit
    Mierzy koszt i wydajność pracy agentów kodujących AI w tokenach, czasie i dolarach, dzielone według sesji, roli, dnia i subagenta, metrowane przez ccusage.
  • 100context-report
    Analizuje efektywność kontekstu w Claude Code i zużycie tokenów w sesji.
  • 100agent-efficiency
    Mierzy, które agenty OpenCode zjadają limit lub rachunek za API, znajduje, gdzie giną tokeny, i proponuje tańszy plan modeli dla każdego agenta po zatwierdzeniu.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.