taobao-mcp-benchmark

---
name: taobao-mcp-benchmark
description: 淘宝桌面版MCP工具评测框架。用于系统化测试MCP工具的各项功能，生成专业的技术评测报告。Use when 需要对淘宝MCP工具进行评测、测试、验收、迭代验证。
version: 1.4.1
metadata:
  openclaw:
    emoji: "📊"
    author: "CoPaw AI"
    created: "2026-03-17"
    updated: "2026-03-17"
---

# 淘宝桌面版MCP评测框架

## 概述

本skill提供一套系统化的评测框架，用于测试淘宝桌面版MCP工具的各项功能，并生成专业的技术评测报告。

## ⚠️ 执行原则（必须遵守）

### 原子性执行

**评测任务一旦开始，必须完整执行完成，不可中断。**

| 原则 | 说明 |
|------|------|
| **不可中断** | 开始评测后，必须完成所有5个任务 + 生成报告 |
| **完整流程** | 初始化 → 任务1-5 → 截图收集 → 报告生成 → 清理 |
| **状态跟踪** | 每个任务完成后记录 checkpoint，便于恢复 |
| **用户提醒** | 如用户试图中断，提醒"评测任务未完成，是否继续？" |

### 任务状态管理

评测开始时创建状态文件 `~/.copaw/tasks/benchmark_YYYYMMDD_HHMMSS/status.json`：

```json
{
  "benchmark_id": "20260317_145034",
  "version": "1.2.0",
  "start_time": "2026-03-17 14:50:00",
  "status": "running",
  "current_task": 1,
  "tasks": [
    {"id": 1, "name": "淘金币签到", "status": "pending", "score": null},
    {"id": 2, "name": "商品搜索+对比+加购", "status": "pending", "score": null},
    {"id": 3, "name": "订单管理", "status": "pending", "score": null},
    {"id": 4, "name": "获取购物车以及降价信息", "status": "pending", "score": null},
    {"id": 5, "name": "客服咨询对话", "status": "pending", "score": null}
  ],
  "screenshots": [],
  "report_generated": false
}
```

每个任务完成后立即更新状态：

```bash
# 任务完成后更新
echo '{"id": 1, "status": "completed", "score": 9, "end_time": "..."}' >> status.json
```

### 中断恢复机制

如果会话中断，下次用户询问评测时：

1. **检查 status.json 是否存在**
2. **如果存在未完成任务**：
   - 提示用户："发现未完成的评测任务（任务X/Y），是否继续？"
   - 用户确认后，从 `current_task` 继续执行
3. **如果已完成但未生成报告**：
   - 直接生成报告

### 执行流程图

```
开始评测
    │
    ▼
创建任务目录 + status.json
    │
    ▼
┌─────────────────────────────┐
│  任务1：淘金币签到           │◄─── 记录截图、耗时、结果
│  任务2：商品搜索+对比+加购   │◄─── 记录截图、耗时、结果
│  任务3：订单管理            │◄─── 记录截图、耗时、结果
│  任务4：获取购物车以及降价信息 │◄─── 记录截图、耗时、结果
│  任务5：客服咨询对话        │◄─── 记录截图、耗时、结果
└─────────────────────────────┘
    │
    ▼
收集所有截图
    │
    ▼
生成 Word 报告（含截图）
    │
    ▼
更新 status.json → completed
    │
    ▼
输出评测结果摘要
```

### 禁止操作

| 禁止行为 | 原因 |
|----------|------|
| ❌ 任务中途停止 | 导致评测数据不完整 |
| ❌ 跳过任务 | 影响总分计算 |
| ❌ 跳过截图 | 报告缺失关键证据 |
| ❌ 不生成报告 | 用户无法查看结果 |

### 用户中断处理

如果用户在评测过程中说"停"、"不做了"等：

```
AI：⚠️ 评测任务尚未完成（已完成 X/5 个任务）。
    中断将导致评测数据不完整，无法生成完整报告。
    是否继续完成评测？（建议选择"继续"）
    
    - 继续：继续执行剩余任务
    - 中断：停止评测，生成不完整报告（不推荐）
```

## 适用场景

- MCP工具版本更新后的回归测试
- 新功能发布前的验收测试
- 定期质量检查和稳定性监控
- 问题复现和性能基准测试

## 评测任务清单

### 任务1：淘金币签到（权重 25%）

**测试目标**：验证导航、元素识别、点击操作的稳定性

**测试步骤**：
1. `navigate` → 首页
2. `scan_page_elements` → 识别淘金币入口
3. `click_element` → 进入淘金币页面
4. `read_page_content` → 读取金币数量
5. 完成签到任务（逛商品等）
6. 验证金币增加

**评分标准**：
| 指标 | 分值 |
|------|------|
| 导航成功 | 2分 |
| 元素识别准确 | 2分 |
| 点击操作成功 | 2分 |
| 金币增加验证 | 2分 |
| 流程顺畅度 | 2分 |

---

### 任务2：商品搜索+对比+加购（权重 30%）

**测试目标**：验证搜索、详情查看、SKU选择、加购流程

**测试步骤**：
1. `search_products` → 搜索关键词（如"保温杯"）
2. `read_page_content` → 读取搜索结果
3. 筛选前3个商品进行对比
4. `click_element` → 进入商品详情页
5. `read_page_content` → 读取商品信息
6. `add_to_cart` → 加入购物车（带SKU参数）

**评分标准**：
| 指标 | 分值 |
|------|------|
| 搜索返回结果 | 2分 |
| 商品详情页导航 | 2分 |
| 信息提取完整 | 2分 |
| SKU选择准确 | 2分 |
| 加购成功 | 2分 |

---

### 任务3：订单管理（权重 20%）

**测试目标**：验证订单页面导航、状态筛选功能

**测试步骤**：
1. `navigate` → 订单页面
2. `scan_page_elements` → 识别筛选标签
3. 依次测试：待付款、待发货、待收货、待评价
4. `read_page_content` → 读取订单列表
5. 验证筛选功能正常

**评分标准**：
| 指标 | 分值 |
|------|------|
| 订单页面导航 | 2分 |
| 筛选标签识别 | 2分 |
| 筛选功能正常 | 2分 |
| 订单信息读取 | 2分 |
| 页面切换流畅 | 2分 |

---

### 任务4：获取购物车以及降价信息（权重 20%）

**测试目标**：验证购物车导航、商品列表读取、降价信息提取

**测试步骤**：
1. `navigate` → 购物车页面
2. `read_page_content` → 读取商品列表
3. 统计购物车商品总数
4. 点击"降价"标签筛选降价商品
5. `read_page_content` → 读取降价商品详情
6. 记录降价商品数量和降价金额

**评分标准**：
| 指标 | 分值 |
|------|------|
| 购物车导航成功 | 2分 |
| 商品列表读取完整 | 2分 |
| 降价标签点击成功 | 2分 |
| 降价信息提取准确 | 2分 |
| 数据记录完整 | 2分 |

**输出数据**：
- 购物车商品总数
- 降价商品数量
- 每个降价商品的：商品名、原价、券后价、降价金额

---

### 任务5：客服咨询对话（权重 15%）

**测试目标**：验证搜索商品、发起客服咨询、多轮对话功能

**测试步骤**：
1. 随机选择一个商品主题（如：鼠标、键盘、台灯等）
2. `search_products` → 搜索商品
3. `open_chat_from_search` → 进入商家客服对话
4. 发起第一轮咨询："你好，请问这个商品今天下单，3天后能到杭州吗？"
5. 等待客服回复（最多60秒）
6. **`send_chat_message` → 发起第二轮追问："好的，那发什么快递呢？可以发顺丰吗？"**
7. **等待客服回复（最多60秒）**
8. 记录两轮对话内容

**评分标准**：
| 指标 | 分值 |
|------|------|
| 商品搜索成功 | 1分 |
| 进入客服对话 | 1分 |
| 第一轮对话发送成功 | 1.5分 |
| 客服第一次回复接收 | 1.5分 |
| 第二轮追问发送成功 | 2分 |
| 客服第二次回复接收 | 2分 |
| 对话记录完整 | 1分 |

**工具调用**：
```bash
# 搜索商品
search_products keyword="鼠标"

# 通过搜索进入客服对话
open_chat_from_search query="鼠标" message="你好，请问这个商品今天下单，3天后能到杭州吗？"

# 发送第二轮追问（等待客服回复后）
send_chat_message message="好的，那发什么快递呢？可以发顺丰吗？"
```

**注意事项**：
- 优先选择官方旗舰店或高销量店铺
- 如果客服回复较慢，等待时间不超过60秒
- **必须完成两轮对话才算任务完成**
- 记录两轮客服回复内容用于验证
- 如果客服长时间未回复，可主动发送追问（不算失败）

---

## 评测流程

### 1. 初始化评测任务

```bash
# 创建评测任务目录
mkdir -p ~/.copaw/tasks/benchmark_$(date +%Y%m%d_%H%M%S)/screenshots

# 记录评测开始时间
echo "评测开始时间: $(date '+%Y-%m-%d %H:%M:%S')" > ~/.copaw/tasks/benchmark_*/timing.log
```

### 2. 执行评测任务

**必须严格遵守以下规范：**

#### 截图规范（每个任务必须）

| 截图时机 | 文件命名 | 说明 |
|----------|----------|------|
| 任务开始 | `XX_task_start.png` | 任务开始时的页面状态 |
| 关键操作前 | `XX_step_N_操作名_before.png` | 操作前的页面状态 |
| 关键操作后 | `XX_step_N_操作名_after.png` | 操作后的页面状态 |
| 任务完成 | `XX_task_end.png` | 任务完成时的页面状态 |
| 异常/问题 | `XX_issue_N.png` | 发现问题时的截图 |

**截图命令：**
```bash
screencapture -x ~/.copaw/tasks/benchmark_*/screenshots/01_task_start.png
```

#### 耗时统计（每个操作必须）

```bash
# 操作开始
START_TIME=$(date +%s)

# 执行操作（如 navigate、click 等）

# 操作结束，计算耗时
END_TIME=$(date +%s)
echo "navigate_home: $((END_TIME - START_TIME))秒" >> timing.log
```

#### 工具调用记录

每次工具调用必须记录：
- 工具名称
- 调用参数
- 返回结果摘要
- 是否成功
- 耗时

```bash
echo "$(date '+%H:%M:%S') | navigate | page=home | success | 2.3s" >> calls.log
```

### 3. 生成评测报告

**报告命名规范（必须遵守）**：

| 项目 | 格式 | 示例 |
|------|------|------|
| 报告标题 | 淘宝桌面版MCP评测报告 {YYYY-MM-DD} | 淘宝桌面版MCP评测报告 2026-03-17 |
| Word文件名 | 淘宝桌面版MCP评测报告 {YYYY-MM-DD}.docx | 淘宝桌面版MCP评测报告 2026-03-17.docx |
| Markdown文件名 | report_{YYYY-MM-DD}.md | report_2026-03-17.md |

**Word 报告必须包含以下内容：**

#### 第一部分：整体小结（必须）

- 评测概览表格（版本、时间、环境）
- 总体评分和等级
- 任务完成度统计表
- 工具调用总览表
- 耗时分布图/表
- 发现问题汇总表
- 关键结论

#### 第二部分：分任务详情（每个任务必须包含）

每个任务需包含：

1. **任务概要**
   - 任务名称和目标
   - 开始/结束时间
   - 耗时统计
   - 评分和完成状态

2. **执行流程表**
   - 步骤编号
   - 操作描述
   - 工具名称
   - 调用参数
   - 返回结果
   - 是否成功
   - 耗时

3. **过程截图**
   - 每个关键步骤的截图（嵌入文档）
   - 截图说明文字

4. **数据结果**
   - 具体的数据（如金币数、商品数等）
   - 对比表格

5. **问题分析**
   - 发现的问题列表
   - 问题截图和标注
   - 影响评估
   - 建议解决方案

6. **评价与建议**
   - 优点总结
   - 可优化点

#### 第三部分：技术分析

- 工具调用统计表（工具名、调用次数、成功率、平均耗时）
- 性能指标表
- 问题清单（编号、描述、影响范围、优先级、状态）

#### 第四部分：附录

- 完整截图清单
- 工具调用日志
- 相关文件路径

### 4. 更新评测记录

将评测结果追加到 `benchmark_history.md`

---

## 工具调用规范

### 导航操作

```bash
# 优先使用专用导航
mcporter call taobao-native.navigate --args '{"target":"home"}' --output json
mcporter call taobao-native.navigate --args '{"target":"cart"}' --output json
mcporter call taobao-native.navigate --args '{"target":"order"}' --output json
```

### 元素扫描

```bash
# 使用filter参数缩小范围
mcporter call taobao-native.scan_page_elements --args '{"filter":"淘金币"}' --output json
mcporter call taobao-native.scan_page_elements --args '{"filter":"保温杯"}' --output json
```

### 内容读取

```bash
# 使用scope参数限定范围
mcporter call taobao-native.read_page_content --args '{"maxLength":3000}' --output json
```

### 截图保存

```bash
# 使用screencapture命令
screencapture -x ~/.copaw/tasks/benchmark_*/screenshots/01_step_name.png
```

---

## 评分计算

```
总分 = 任务1得分 × 0.20 + 任务2得分 × 0.30 + 任务3得分 × 0.15 + 任务4得分 × 0.20 + 任务5得分 × 0.15
```

**任务权重**：
| 任务 | 权重 |
|------|------|
| 1. 淘金币签到 | 20% |
| 2. 商品搜索+对比+加购 | 30% |
| 3. 订单管理 | 15% |
| 4. 获取购物车以及降价信息 | 20% |
| 5. 客服咨询对话 | 15% |

**评分等级**：
- 9-10分：优秀 ⭐⭐⭐⭐⭐
- 7-8分：良好 ⭐⭐⭐⭐
- 5-6分：及格 ⭐⭐⭐
- 3-4分：需改进 ⭐⭐
- 0-2分：不合格 ⭐

---

## 常见问题与解决方案

### 问题1：搜索结果页停留在首页

**现象**：`search_products` 返回结果，但页面仍在首页

**解决方案**：
1. 检查当前页面URL
2. 使用 `scan_page_elements` 确认搜索结果
3. 必要时重新导航

### 问题2：元素点击失败

**现象**：`click_element` 返回失败

**解决方案**：
1. 检查元素是否可见
2. 尝试滚动页面后再点击
3. 使用text参数模糊匹配

### 问题3：SKU选择失败

**现象**：`add_to_cart` 提示SKU参数错误

**解决方案**：
1. 先进入商品详情页
2. 使用 `scan_page_elements` 获取可用SKU选项
3. 按文本匹配选择

---

## 评测报告结构

Word 报告采用**总分结构**，面向技术团队，聚焦评测过程和问题分析。

### 报告大纲

```
淘宝桌面版MCP评测报告 {YYYY-MM-DD}
│
├── 一、整体小结 ⭐ 必须首先呈现
│   ├── 1.1 评测概览
│   │   └── 表格：评测日期、版本、环境、总耗时
│   ├── 1.2 总体评分
│   │   └── 大字号评分 + 等级 + 雷达图（可选）
│   ├── 1.3 任务完成度
│   │   └── 表格：任务名、权重、评分、状态、完成率
│   ├── 1.4 工具调用总览
│   │   └── 表格：工具名、调用次数、成功率、平均耗时
│   ├── 1.5 耗时分布
│   │   └── 表格：任务名、耗时、占比
│   ├── 1.6 问题汇总
│   │   └── 表格：问题编号、描述、影响范围、优先级
│   └── 1.7 关键结论
│       └── 3-5条核心结论
│
├── 二、分任务详情
│   ├── 2.1 任务一：淘金币签到
│   │   ├── 2.1.1 任务概要
│   │   │   └── 表格：目标、时间、耗时、评分
│   │   ├── 2.1.2 执行流程
│   │   │   └── 详细表格：每步操作、工具、参数、结果、耗时
│   │   ├── 2.1.3 过程截图 ⭐ 必须嵌入
│   │   │   ├── 图1：首页淘金币入口
│   │   │   ├── 图2：淘金币页面
│   │   │   └── ... 每个关键步骤
│   │   ├── 2.1.4 数据结果
│   │   │   └── 金币数、签到天数等具体数据
│   │   ├── 2.1.5 问题分析
│   │   │   ├── 问题描述 + 截图标注
│   │   │   └── 影响评估 + 建议方案
│   │   └── 2.1.6 评价与建议
│   │
│   ├── 2.2 任务二：商品搜索+对比+加购
│   │   ├── 2.2.1 任务概要
│   │   ├── 2.2.2 执行流程
│   │   ├── 2.2.3 过程截图 ⭐
│   │   │   ├── 搜索结果页
│   │   │   ├── 商品详情页
│   │   │   ├── SKU选择
│   │   │   └── 加购成功
│   │   ├── 2.2.4 数据结果
│   │   ├── 2.2.5 问题分析
│   │   └── 2.2.6 评价与建议
│   │
│   ├── 2.3 任务三：订单管理
│   │   └── （同上结构）
│   │
│   ├── 2.4 任务四：获取购物车以及降价信息
│   │   └── （同上结构）
│   │
│   └── 2.5 任务五：客服咨询对话
│       └── （同上结构）
│
├── 三、技术分析
│   ├── 3.1 工具调用统计
│   │   └── 详细表格：工具、调用次数、成功、失败、成功率、总耗时、平均耗时
│   ├── 3.2 性能指标
│   │   └── 表格：总任务数、成功率、总耗时、平均耗时、截图数、调用总数
│   ├── 3.3 问题清单
│   │   └── 表格：编号、问题描述、复现步骤、影响范围、优先级、建议方案
│   └── 3.4 改进建议
│       ├── 短期（1周内）
│       ├── 中期（1个月内）
│       └── 长期（3个月内）
│
└── 四、附录
    ├── 4.1 完整截图清单
    │   └── 表格：序号、文件名、说明、对应任务
    ├── 4.2 工具调用日志
    │   └── 完整的调用记录
    └── 4.3 相关文件
        └── Markdown报告、Word报告、截图目录路径
```

### 报告要点

| 要点 | 要求 | 说明 |
|------|------|------|
| **总分结构** | 必须 | 先整体小结，再分任务详情 |
| **截图嵌入** | 必须 | 每个关键步骤必须有截图，嵌入Word文档 |
| **耗时统计** | 必须 | 每个操作、每个任务、总体都要有耗时 |
| **问题标注** | 必须 | 发现问题必须在截图上标注，并说明影响 |
| **工具调用日志** | 必须 | 完整记录每次工具调用的参数和结果 |
| **数据具体化** | 必须 | 用具体数字代替模糊描述（如"返回48个商品"而非"返回多个商品"）|
| **面向技术团队** | 必须 | 使用专业术语，聚焦技术细节和问题分析 |

---

## 迭代记录

| 版本 | 日期 | 变更内容 |
|------|------|----------|
| v1.4.1 | 2026-03-17 | 报告标题和文件名增加日期，便于识别 |
| v1.4.0 | 2026-03-17 | 任务4改名"获取购物车以及降价信息"，任务5要求至少两轮对话 |
| v1.3.0 | 2026-03-17 | 新增原子性执行原则：任务不可中断、状态管理、中断恢复机制 |
| v1.2.0 | 2026-03-17 | 优化报告结构：总分结构、详细截图规范、耗时统计、问题标注 |
| v1.1.0 | 2026-03-17 | 新增任务5：客服咨询对话，调整任务权重 |
| v1.0.0 | 2026-03-17 | 初始版本，完成首次评测（4个任务） |

### v1.4.1 更新内容

**报告命名优化**：
- 报告标题格式：`淘宝桌面版MCP评测报告 {YYYY-MM-DD}`
- Word文件名格式：`淘宝桌面版MCP评测报告 {YYYY-MM-DD}.docx`
- Markdown文件名格式：`report_{YYYY-MM-DD}.md`
- 目的：便于识别和管理多次评测记录

### v1.4.0 更新内容

**任务4调整**：
- 原名称：购物车比价
- 新名称：获取购物车以及降价信息
- 优化评分标准：聚焦购物车商品统计和降价信息提取

**任务5调整**：
- 要求：必须完成至少两轮对话
- 第一轮：发起咨询（如发货时间）
- 第二轮：追问（如快递方式）
- 评分标准更新：两轮对话各占2分，回复接收各占2分

### v1.3.0 更新内容

**原子性执行原则**：
- 评测任务一旦开始，必须完整执行完成，不可中断
- 完整流程：初始化 → 任务1-5 → 截图收集 → 报告生成 → 清理

**状态管理机制**：
- 创建 `status.json` 跟踪任务进度
- 每个任务完成后立即更新状态
- 支持中断恢复：下次询问时检测未完成任务

**用户中断处理**：
- 用户尝试中断时提醒"评测任务未完成"
- 提供"继续"或"中断"选项
- 中断后生成不完整报告（不推荐）

**禁止操作清单**：
- ❌ 任务中途停止
- ❌ 跳过任务
- ❌ 跳过截图
- ❌ 不生成报告

### v1.2.0 更新内容

**报告结构优化**：
- 采用**总分结构**：先整体小结，再分任务详情
- 面向**技术团队**，聚焦评测过程和问题分析

**新增规范**：
- 截图规范：每个关键步骤必须截图并嵌入文档
- 耗时统计：每个操作、每个任务、总体都要有耗时记录
- 问题标注：发现问题必须在截图上标注
- 工具调用日志：完整记录每次调用的参数和结果
- 数据具体化：用具体数字代替模糊描述

**报告内容强化**：
- 整体小结新增：任务完成度表、工具调用总览表、耗时分布表、问题汇总表
- 分任务详情新增：执行流程详细表、过程截图嵌入、问题分析章节
- 技术分析强化：工具调用统计表增加成功/失败/平均耗时列

### v1.1.0 更新内容

**新增任务**：客服咨询对话（权重15%）
- 随机选择商品主题进行搜索
- 通过搜索进入商家客服对话
- 发起至少两轮客服咨询
- 记录客服回复内容

**权重调整**：
| 任务 | v1.0.0 | v1.1.0 | v1.4.0 |
|------|--------|--------|--------|
| 1. 淘金币签到 | 25% | 20% | 20% |
| 2. 商品搜索+对比+加购 | 30% | 30% | 30% |
| 3. 订单管理 | 20% | 15% | 15% |
| 4. 获取购物车以及降价信息 | 25% | 20% | 20% |
| 5. 客服咨询对话 | - | 15% | 15%（新增） |

---

## 文件结构

```
~/.copaw/active_skills/taobao-mcp-benchmark/
├── SKILL.md                    # 本文档
├── templates/
│   ├── task_template.json      # 任务配置模板
│   └── report_template.md      # 报告模板
├── scripts/
│   └── generate_report.js      # Word报告生成脚本
└── history/
    └── benchmark_history.md    # 评测历史记录
```

---

## 快速开始

```
用户：帮我评测一下淘宝MCP工具
AI：好的，开始执行淘宝桌面版MCP评测...
    [执行4个评测任务]
    [生成评测报告]
    评测完成！总分：8.3/10
```

---

*最后更新：2026-03-17 v1.4.1*

• SKILL.md 21 KB
• _meta.json 1 KB
• history/benchmark_history.md 2 KB
• scripts/generate_report.js 44 KB
• scripts/generate_report.sh 2 KB
• scripts/run_benchmark.sh 1 KB
• templates/report_template.md 13 KB
• templates/status_template.json 2 KB
• templates/task_template.json 7 KB