11.9 结果与沉淀
真实成果数据
以下指标分属两个场景:前四项来自本案例的 CFO 财务结算审核场景;后两项来自同一套评测回放/规则中心/发布门禁能力沉淀复用到供应链采购场景后的规模化验证数据,用于说明方法的可迁移性。
| 指标 | 数值 | 所属场景 | 说明 |
|---|---|---|---|
| 财务结算样本审核准确率 | 20% → 85% | CFO 结算审核 | 从冷启动可用性走向可评审、可受控发布 |
| 典型规则生产周期 | 1 个月 → 4 小时 | CFO 结算审核 | 业务老师从"白纸写规则"变成 Review 与修正 |
| 典型场景上线周期 | 3 个月 → 2 周 | 资产复用后的新场景 | 采集、Skill、评测和发布门禁复用后,接入链路明显缩短 |
| 供应链采购处理量 | 月均 1 万单 | 供应链采购(复用场景) | 万单规模下验证流程稳定性 |
| 万单规模处理通过率 | 80% | 供应链采购(复用场景) | 作为规模化运行观察指标,而不是一句"Demo 已跑通" |
| 累计业务覆盖 | 3 个领域 / 30+ 子场景 | 多场景累计 | 从单一审核场景扩展到多领域、多子场景 |
六类沉淀资产
| 沉淀资产 | 解决的问题 | 复用价值 |
|---|---|---|
| 数据采集模块 | 真实材料、人工结论、运行轨迹、专家反馈没有统一的入库口径 | 采集表单、Trace 结构、附件索引、样本入库、分歧标记都能直接复用,是新场景冷启动的第一道入口 |
| 评测回放空间 | 真实输入、附件、人工结论、Agent 轨迹分散在各处;改完一版也没法证明"旧问题修好了、新问题没进来" | 新场景先在这块做评测采集、一致性对比和分歧标记,不用动线上流程;再靠冻结样本、回放报告、Benchmark 清洗、发布建议和回滚依据决定能不能发 |
| 审核领域 SOP 模块 | 每次进入新审核领域都从零理解材料、字段、规则和人工门禁 | 「拿材料、抽字段、建评测、挖规则、搭 Workflow、做回放」这条路可以直接照搬 |
| 通用 OCR / 全要素抽取 | 关键字段分散在合同、发票、回单、审批单等附件里,人工查找成本高 | 复用附件解析、字段摘要、证据定位和字段置信度能力 |
| 基于反馈的 Agent 能力迭代模块 | 人工反馈、失败原因和线上差异无法稳定进入下一版能力 | 候选生成、专家确认、回归验证、受控发布这套机制可直接复用 |
| 业务可读可视化模块 | Agent 结论如果只是一段文本,业务很难判断依据是否可靠 | 节点分析、证据链展示、风险解释、结论对比看板可直接复用 |
可复制的产品模块
-
数据采集模块、Agent 评测记录、分歧样本、冻结样本包;
-
通用 OCR / 全要素抽取、Agent Runner、链路追踪、评测回放空间、评测集导入导出;
-
审核领域 SOP、规则中心、Skill 版本、候选生成记录、回放报告和发布建议。
FDE 形成的方法论
-
先照顾业务情绪,再用低风险 POC 建立信任;
-
同一个问题遇到第二次,抽成共性能力;做到第三个场景,回头检查抽象是否真的可复用;
-
每次放权都要有证据,质量、稳定性、token 成本和 ROI 都要能被评审。
11.10 本章小结
-
审核类场景适合用评测 + 迭代冷启动 :Agent 先证明自己,人保留最终裁决——先证明,再放权
-
第一个场景最难的是业务信任,不是技术 :先接住情绪,再用不增加风险的 POC 证明价值
-
关键动作是把真实输入、人工结论、Agent 轨迹、分歧样本、专家反馈接成一条闭环
-
交付要求覆盖质量、稳定性、token 成本和 ROI ,不只是链路跑通
-
沉淀不是写复盘文档 ,是留下 SOP、Context、规则、Skill、评测集、回放报告和发布门禁
-
复用价值要落到数字 :准确率 20% → 85%、规则生产周期 1 个月 → 4 小时、上线周期 3 个月 → 2 周、月均万单规模 80% 通过率
随堂测
逐题作答,即时反馈
1. 六类沉淀资产中,「评测回放空间」解决的核心问题是?
2. 按「FDE 形成的方法论」,回头检查抽象是否真的可复用,正确的时机是?
3. 案例的真实成果数据中,「典型规则生产周期」的改善是?