AI Agent 测试专项#

核心原则#

Agent 测试的核心——验证 AI 决策的 正确性、安全性、可控性。功能能不能用只是及格线； 能不能被诱导、能不能被叫停、会不会瞎编，才是这个领域特有的风险面。

1. 先定位 Agent 类型（决定重心）#

Agent 类型典型代表必测维度重点关注对话助手型AI客服/智能导购/知识问答功能+安全+高级安全+可控性+幻觉意图识别、上下文记忆、幻觉控制、多轮诱导任务执行型工单处理/审批流转/数据录入功能+工具调用+可控性+边界工具选择、参数生成、执行顺序、人工确认数据分析型BI助手/报表生成/趋势分析功能+幻觉+推理+安全数据准确性、来源归因、逻辑正确性、越权查询自主决策型风控系统/资源调度/智能运维安全+高级安全+可控性+推理+工具调用间接注入、权限边界、HITL、决策归因

接了 RAG 的 Agent 必须测间接注入：检索到的文档/网页内容本身就是攻击面， 用户没发恶意指令不代表没有注入。只测用户直发注入是这类 Agent 最常见的漏测。

2. 九维覆盖要求#

维度占比说明功能测试25%任务执行/决策/交互/工具调用安全测试15%Prompt注入/越权/敏感信息高级安全测试12%间接注入/多轮诱导/编码绕过边界测试10%输入/能力/并发边界可控性12%中止/人工确认/权限边界/速率限制可靠性测试8%稳定性/容错/降级幻觉与事实性8%事实核查/来源归因/RAG准确性推理链路5%可解释性/逻辑/自纠错工具调用测试5%参数生成/工具链编排/副作用

必选与选配：

• 必选三维（任何 Agent 都不能省）：安全测试、高级安全测试、可控性 —— 这三维出问题就是安全事件
• 选配六维：按上表"必测维度"列选取，其余按风险评估追加
• 未覆盖的维度必须在覆盖率报告写"未覆盖 + 原因"， 不得静默省略

占比是分配目标不是硬门槛：条数必须取整。分配顺序见 references/dimensions.md 末尾的「占比取整规则」 （先保 P0 所属维 → 其余向下取整 → 每维允许偏差 ≤1 条 → 用例少时每维至少 1 条兜底）。

3. 深度要求#

复杂度用例数要求说明简单Agent30 条单一任务 Agent，无工具或单工具中等Agent50 条多任务 Agent，多工具复杂Agent80 条多工具 + 多轮对话 + RAG 的组合

4. 加载时机#

需要时才读，不要一上来全读：

什么时候读读哪个要展开某一维的测试范围，或交付前逐项自检references/dimensions.md（9 维详图 + 9 组检查清单 + 取整规则）要挑现成用例起点references/typical-cases.md（37 条，按维分布 + 级别/风险建议）用户描述的情况命中特定 Agent 形态或风险references/scenarios.md（8 个场景，校正测试重心）要写用例表assets/case-template.md（9 列模板 + 填写要求）

5. 测试方案输出结构#

text

1. Agent 类型识别   → 判定属于哪一类（对话/任务/分析/决策），列出判定理由
2. 必测维度清单     → 必选三维 + 速查表必测维 + 风险追加维，标注哪些维度未覆盖及原因
3. 测试范围详解     → 每个选中维度的核心测试点（读 dimensions.md）
4. 典型用例参考     → 从 37 条典型用例中选取适用的（读 typical-cases.md）
5. 安全与可控性专项 → 注入 / 工具安全 / HITL 等 Agent 特有风险
6. 风险提示         → 基于场景的高风险区域预警

6. 交付前自检#

• 必选三维（安全/高级安全/可控性）均有用例
• 百分比分配取整后每维偏差 ≤1 条；用例数 <30 时已注明实际分布
• 用例编号为 TC_{模块}_{功能}_{序号}，同批不重号
• P0-P3 占比符合要求
• 覆盖率已标注口径，无"全覆盖/100%"绝对化表述
• 未覆盖维度已写明"未覆盖 + 原因"
• Agent 类型判定的理由已列出

机器校验（列数、编号唯一性、级别取值、占比、覆盖率措辞）：

bash

python scripts/validate_testcase_table.py <用例文件>