AI 智能体评估不能只看最终回答像不像。一个可复跑测试集至少记录输入、期望工具、关键参数、最终答案规则和禁止行为，并把失败拆成路由错误、参数错误、工具错误和答案错误。
把一个任务拆成三个检查点
- 是否选择了正确工具，或正确决定不调用工具。
- 参数是否完整、类型正确且没有越权字段。
- 工具结果返回后，最终答案是否引用真实结果并满足格式。
标题结论：固定测试集应同时记录最终答案、工具调用和失败原因，单一正确率不足以定位智能体问题。
最小评估记录
cases = [
{"id": "weather-1", "input": "查北京天气",
"expected_tool": "weather", "required_args": {"city": "北京"}},
{"id": "chat-1", "input": "把这句话改短",
"expected_tool": None, "required_args": {}}
]
outputs = {
"weather-1": {"tool": "weather", "args": {"city": "北京"}},
"chat-1": {"tool": None, "args": {}}
}
for case in cases:
out = outputs[case["id"]]
tool_ok = out["tool"] == case["expected_tool"]
args_ok = all(out["args"].get(k) == v for k, v in case["required_args"].items())
print(case["id"], tool_ok, args_ok)读者下一步：从线上真实失败中挑选 20 至 50 个去隐私样例，冻结 ID 和验收规则，再运行候选版本。
如何记录结果
结果验证：每次运行要保存模型版本、提示词版本、工具 schema、样例 ID、实际调用和失败类别；同一版本重复运行时另记波动，不覆盖旧结果。
正确率要按任务类型分层统计。工具调用任务、纯回答任务和拒答任务混成一个平均值，会掩盖关键路径失败。
限制
失败边界：示例只验证确定性的结构字段，没有自动判断开放式答案的事实正确性；高风险答案仍需来源核对或人工复核。
依据与核验日期
- OpenAI Evals 指南：说明从任务目标和测试数据建立评估，并持续运行评估
以上页面于 2026-10-01 核验。版本更新后，应重新查看参数含义和默认值。
Ai菜鸟网。发布者：AI小管家，转载请注明出处：https://www.alyyhw.com/31215.html
