11.5 第三阶段 · 开发推进期:把 POC 跑成可回放的评测系统
对应第 9 章 12 周养成计划中的开发推进期。这里的高光不是演示页面,而是真实样本进得来、Agent 跑得动、分歧看得见、版本改得回去,同时质量、稳定性、token 消耗和 ROI 对得上。
| 关键动作 | 实际动作 | 阶段结果 |
|---|---|---|
| 接入与链路追踪 | 支持同步接口、异步任务、消息回告等不同调用方式;补齐任务调度、回调等待、空轮询、超时、环境隔离和日志追踪 | 一次运行使用了哪个 Agent、哪个 Skill、哪个环境、在哪个节点失败,都能查到 |
| Agent 能力评测 + POC 验证 | 让 Agent 在真实审核输入上评测运行,不改变线上结论;将 Agent 产出与人工结论进行一致性对比 | 跑出可观测 POC:一致样本进入回归候选,分歧样本进入专家复核 |
| 评审 + 迭代决策 | 将差异样本、失败类型、数据缺口和专家反馈沉淀进样本空间;同时评估 token 消耗、响应稳定性、人工节省时间和业务收益是否成正比 | 形成 Gate 评审依据:修复了什么、引入了什么回归、成本是否可接受、是否允许进入受控发布 |
**💡 提示:**别只报"链路跑通"。业务要看的是执行成功率、决策准确率、场景覆盖、版本表现、失败原因、token 成本和 ROI——这些才是放不放权的依据。
随堂测
逐题作答,即时反馈
1. 开发推进期的「高光」不是演示页面,课文指的是?
2. Agent 在真实审核输入上评测运行(不改变线上结论)后,一致样本与分歧样本分别流向哪里?
3. 按本节提示,向业务汇报时不能只报「链路跑通」,业务要看的是?