7.2 验收标准

概念

验收标准是整个交付的「靶心」。没有靶心，你跑得再快也不知道是不是跑偏了。

传统软件的验收标准通常是功能性的：「登录功能可用」「导出报表格式正确」。但 AI 项目的验收要复杂得多，因为输出是概率性的、用户体验是主观的、风险是动态的。

我们用四维验收框架来覆盖 AI 项目的全部验收维度：

🖼 图：acceptance four dimensions

用法

进场时必须定好四维标准的具体阈值，不能只写「效果好」「效率高」这种模糊表述。下面是每个维度的标准制定指南：

效果维度：

效率维度：

• 注意（效率维度对照组） ：效率维度必须设对照组——一组用 AI、一组不用（或同一组人上线前后对比但需排除时间因素）。否则你看到的「效率提升」可能只是 霍桑效应 ：用户因为「被关注、被试点」而短期表现变好，等试点结束后新鲜感消退，效率回落。设了对照组，才能区分「AI 真有用」和「被关注就有干劲」。

采纳维度：

合规维度——三条兜底条款（必选项）：

这是 AI 项目验收中最不可妥协的部分。无论客户是否主动提出，FDE 都必须把这三条写进验收标准：

• 注意 ：为什么一票否决？效果差是「不好用」，合规不过关是「会出事」——出事的代价远大于不好用。

示例

以「企业内部知识助手」项目为例，进场第一周与客户对齐的验收标准：

## 企业知识助手验收标准 v1.0

### 效果维度

| 指标 | 阈值 | 测量方法 |

|------|------|---------|

| 回答准确率 | ≥ 85% | 抽样 100 条真实问题，业务方标注对错 |

| 拒答率 | 10%–20% | 统计 Agent 明确回复"无答案"的比例 |

| 回答相关性 | 平均 ≥ 4.0/5.0 | 业务方对抽样回答打分 |

### 效率维度

| 指标 | 阈值 | 测量方法 |

|------|------|---------|

| 平均响应时间 | < 3 秒（P95 < 5 秒） | WorkBuddy 后台日志 |

| 人效提升 | 检索效率提升 ≥ 40% | 对比上线前后人均工单处理量 |

| 人工介入率 | < 25% | 统计转人工工单比例 |

### 采纳维度

| 指标 | 阈值 | 测量方法 |

|------|------|---------|

| 周活跃率 | ≥ 80% | 后台行为日志 |

| 使用深度 | 平均交互 ≥ 3 轮/会话 | 行为日志 |

| 4 周留存率 | ≥ 70% | 行为日志 |

### 合规维度（一票否决）

| 指标 | 阈值 | 测量方法 |

|------|------|---------|

| 拒答优于胡答 | 知识库无答案时 100% 拒答 | 抽样 20 条无答案问题，验证拒答行为 |

| 可溯源 | 100% 回答附带来源标注 | 人工检查抽样回答的来源链接 |

| 人可接管 | 转人工操作 < 5 秒、0 次重复描述 | 人工走查 10 次转人工流程 |

预期结果： 这份标准在进场时由 FDE 起草、客户验收委员会签字确认，V 阶段直接对照打勾。

• 注意 ：验收标准不是「写完就锁死」。项目过程中如果发现标准本身不合理（比如指标设得太高或太低），可以走变更流程修订——但必须双方签字，不能 FDE 单方面调。

注意事项

• 不要等到 V 阶段才定标准 ：进场第一周就对齐。标准不定，整个 P 和 E 阶段都没有方向。

• 拒答率不是越低越好 ：拒答率 0% 往往意味着 Agent 在「什么都敢答」，这在合规维度是危险信号。

• 采纳维度需要「足够长」的观察期 ：至少 2–4 周。上线第一周新鲜感驱动的高活跃不叫采纳，第四周还在用才叫采纳。

• 合规维度的「拒答优于胡答」是针对 AI 幻觉问题的第一道防线 ：当 Agent 不确定时，让它说「我不知道」远比让它「编一个」安全。客户发现 AI 编了内容，信任一旦崩塌几乎不可逆。