10.8 上线自检清单

约 15 分钟L2L3T4D3

课程来源

[来源] 腾讯云培训认证《腾讯云人工智能前沿部署工程师(FDE)》第 10 章 ·〈10.8 上线自检清单〉

原文:https://cloud.tencent.com/edu/learning/course-4767-84813-84825(腾讯云在线学习中心)

[收录说明] 企业内部培训用途蒸馏收录:保留原课章节结构与要点,截图以图注转写、互动组件转写为要点清单;概念与事实以原课为准。

本课目录(5 节)

10.8 上线自检清单

概念

前面七节都在讲「怎么做配置」。这一节给你一个上线评审前必须逐条回答的八问清单。原则是:答不上来就别上线。这不是吓唬人——任何一个答不上来,意味着你的约束体系有裸奔的环节,客户一旦较真你就交代不了。

用法

把前面七节收敛成一张上线前自检清单。这张表就是你在企业安全评审会上要能逐条回答的问题。

#红线问题对应约束答不上来的后果
1客户数据会不会出企业内网?部署形态选对了吗?数据边界(10.2)合规事故、方案返工
2每个连接器的授权范围是不是最小必要?数据边界 / 连接器护栏数据超范围暴露
3谁能用哪些能力,是否配了下发策略并验证过?权限模型(10.3)越权使用、能力失控
4不可逆动作(动钱、对外发布)有没有人工门禁?权限模型·审批链路(10.3)AI 执行不可逆错误
5出了争议,能不能从日志还原完整链路?日志审计(10.4)无法追责、信任崩塌
6上线有没有评测门槛?通过线是多少?评测门槛(10.5)「感觉不错」就放量,出事才知道
7系统会不会「不知道也硬答」?兜底设计在哪?人工兜底(10.7)幻觉进入决策链
8终审决策是不是由人做、且留了痕迹?人工兜底 / 四条红线替客户背了不该背的责任

提示

怎么用这张表:进场访谈时用它挖需求(第 6 章),方案设计时用它做约束清单,上线评审时用它逐条过。它不是给客户看的合同附件,是FDE 自己的职业底线检查表。

示例

一份填写后的自检清单:


上线自检清单 v1.2

1. 数据会不会出企业内网?部署形态选对了吗?

   答:私有化企业版部署,数据不出内网;出口另配白名单(api.entreprise.com)+ DLP 扫描兜底

   证据:data_egress_policy.yaml

2. 每个连接器的授权是否最小必要?

   答:Agent 子账号仅绑定 contracts_db:SELECT,无写权限;MCP 出站仅允许 api.internal.corp,其他一律拒绝

   证据:iam_policy.json / mcp_egress_policy.yaml

3. 谁能用哪些能力,下发策略是否验证过?

   答:按部门配白名单下发,已用后台「权限查询」逐一验证 10 个成员账号的生效结果

   证据:distribution_policy.yaml

4. 不可逆动作有没有人工门禁?

   答:send_email 强制 human-in-the-loop,DELETE 默认禁用;工具调用仅允许 query_contract / query_order 两个 Skill

   证据:skill_permissions.yaml / tool_whitelist.yaml

5. 出了争议,能不能从日志还原完整链路?

   答:三段式日志(Prompt/Tool/Response),统一 request_id 串联

   证据:logging_config.yaml

6. 上线有没有评测门槛?通过线是多少?

   答:500 条测试集,准确率 92.4%、幻觉率 1.4%、合规率 100%,红线指标全部达标

   证据:eval_report_v1.2.md

7. 系统会不会「不知道也硬答」?兜底设计在哪?

   答:知识库无答案时 100% 显式标注「无依据,建议人工确认」;Prompt 注入关键词黑名单 + 小模型分类器,检出率 96%

   证据:fallback_rules.yaml / prompt_guard_config.yaml

8. 终审决策是不是由人做、且留了痕迹?

   答:高风险输出进人工审批队列,审批人、时间、结论全量留痕

   证据:approval_audit_log.yaml

结论:八问全绿,建议上线。

注意事项

  • 「答不上来就别上线」是硬规则 。如果八条有任何一条答不出或证据缺失,评审应当一票否决——哪怕业务方催得再急。上线后出事,背锅的是交付工程师,不是催你上线的业务方。

10.9 本章小结

  • 约束三层模型 是心智底座:数据层管进出、能力层管能不能、过程层管留没留痕+够不够格——上线评审三层都要过,任何一层裸奔都算不合规

  • 数据边界 靠敏感数据字典 + 入口过滤 + 出口白名单 + DLP 扫描四件套,「进出」两个方向都要控

  • 权限模型 核心是「最小必要」——Agent 比人更不可信,只读优先、不可逆动作必须有 HITL 门禁

  • 日志审计 必须三段式(Prompt/Tool/Response)+ 统一 request_id 串联,敏感字段要脱敏

  • 评测门槛 定义指标+阈值+通过规则三件套,幻觉率和安全合规率是红线

  • 三类护栏 分工明确:Prompt 护栏管输入、Tool 护栏管动作、Connector 护栏管外发

  • 人工兜底 是贯穿全课的总原则——入口、过程、出口三个位置都要兜,把「不知道就说不知道」写进专家人设是最有效的设计

  • 上线自检八问 是最后一道闸——答不上来就别上线,这不是建议是红线

随堂测

逐题作答,即时反馈

0 / 3 已作答
  1. 1. 关于「上线自检八问」清单的使用原则,课文强调的是?

  2. 2. 上线自检八问中,对应「日志审计(10.4)」的红线问题是?

  3. 3. 按示例清单,日志审计一问的回答是「三段式日志 + 统一 request_id 串联」,其中「三段」指?