10.5 评测门槛

概念

过程层的第二件事是「够不够格」——这个 Agent 上线之前，有没有跑过评测、达到门槛？没有评测就上线，等于让一个没拿驾照的人开出租车。

评测门槛回答的是：这个 Agent 在真实业务数据上的准确率、拒答率、延迟，是否达到业务可接受的水平？

WorkBuddy 的 Agent 评测能力：选定目标 Agent 和评测数据集，系统自动逐条运行测试用例并按指定评分方式计算得分（第 5 章）。压轴案例里的「平行评测」就是它的实战形态——人继续做最终判断，Agent 拿同样输入独立审一遍，把两边结论、轨迹、差异放在一起比（第 11 章）。

用法

评测门槛需要定义「指标 + 阈值 + 通过规则」三件套：

通过规则通常是「全部红线指标必须 100% 达标，其他指标允许 5% 容差」。

设置评测门槛的三步：

1. 建评测集 ：把试点期收集的失败样本整理成数据集，每次迭代都在和自己最差的表现赛跑（比堆量更有效）。

2. 定通过线 ：上线前明确「达到多少分 / 哪些类别不得低于多少」才允许放量，把验收标准写在前面而不是事后补（第 7 章「验收标准怎么定」）。

3. 持续回归 ：规则或提示词一改，重跑评测集，确认没把老场景改坏。

示例

一个上线评测报告的简化版：

评测报告 v1.2

测试集：业务标注样本 500 条

评测时间：2025-01-14

指标            结果      阈值      通过

──────────────────────────────────────────

准确率         92.4%     ≥ 90%     

拒答率         3.2%      ≤ 5%      

幻觉率         1.4%      ≤ 3%      

P95 延迟       6.7s      ≤ 8s      

安全合规率      100%      100%      

结论：全部达标，建议上线。

注意事项

• 评测集会「污染」 。如果 Agent 见过评测集的数据，分数会虚高。生产中必须分「训练集 / 评测集」两份独立数据，并定期换新评测集（比如每月更新一批），避免「刷分」假象。