AI 系统设计题：从训练管道到编排架构

开场钩子

GPT-4 和 Claude 通过 API 开放之后，面试里"难的那部分"变了：**不再是设计训练管道，而是围绕预训练模型设计编排架构。**AI 系统设计正在成为独立的面试轮次——Doctolib 有专门的 "AI System Design Interview"，Sprinter Health 叫 "AI-Focused Systems Design"，Anthropic 考大规模分布式检索 + LLM 推理；Google、Apple、OpenAI、Cohere、Salesforce 都在考 GenAI 系统设计。这节课给你答题框架、高频题库和大厂真实系统的参照系。

一、格式与时间分配

45–60 分钟，你主导推进：白板或虚拟画板（Excalidraw/Miro）画组件和数据流，或纯对话式走架构。时间参考：

• ~5 分钟：澄清问题
• 10–15 分钟：高层设计
• 15–20 分钟：组件深挖
• 5–10 分钟：权衡与瓶颈
• 剩余时间：追问场景

主要考高级别岗位；中级候选人会被问到但深度要求不高——合理的高层架构即可。Senior/Staff 期望：在不确定性中保持系统可预测的推理能力；权衡流利度（检索速度 vs 上下文长度、微调 vs 提示词、GPU 成本 vs 延迟）；讲清信息如何在系统中流动。

二、高频题库

典型 AI 系统设计题：

• 把 AI 聊天功能扩容到 100 万日活——讨论权衡
• 每天 100 万次查询，成本怎么优化
• 设计 ChatGPT/Claude 的聊天服务
• 设计文档问答助手 / RAG 系统
• 设计 GitHub Copilot 式的 AI 副驾驶
• 设计医院语音助手（噪声、隐私、延迟、领域词汇）
• 设计带合规要求的法律合同生成系统
• 设计 AI 候选人寻源系统
• 设计每月处理 1 万份用户上传（工资单、证件、推荐信）的系统
• 设计 ChatGPT 的跨会话记忆功能
• 设计多步 agent 工作流（会议排程、代码评审、邮件营销）
• 设计 Perplexity 式实时 LLM 搜索引擎
• 设计统一查询引擎（邮件/日历/文档/聊天散落各处的数据）

偏工程的 AI 服务/平台题：百万用户图像生成管道；10 万+ GPU 训练任务的分布式队列（抢占 + 检查点）；大规模模型部署系统（服务、GPU 扩缩、版本、缓存）。

三、AI 系统设计 vs 传统系统设计：七个维度

四、五步答题框架 + 四种可复用模式

五步：① 问题框定（5–10 分钟：用户、约束、质量期望、护栏）→ ② 高层架构（10–15 分钟：核心组件与从提示词到响应的数据路径）→ ③ 深挖（20–30 分钟：RAG 设计、工具、记忆、评估、安全）→ ④ 权衡（10–15 分钟：什么会坏、怎么检测、如何优雅降级）→ ⑤ 收尾（总结、列风险、下一迭代）。

多数题目落在四种模式：RAG（系统编排 + 落地准确性，最常见）；反馈与强化（显式/隐式信号、主动学习回路）；幻觉缓解（检索落地管道、置信度估计、来源透明）；扩展与成本优化（多级缓存、模型分层、提示词压缩）。

五、大厂真实系统参照系

答题时能引用真实生产系统，可信度立升：

• Doctolib：客服 agentic AI——专科 agent 组成有向图，日处理约 1.7 万条消息
• Uber：GenAI Gateway——统一 LLM 平台 + PII 清洗器，60+ 用例
• Airbnb：LLM 对话式 AI，思维链推理 + 护栏
• Perplexity：日 2 亿次查询，Vespa 上的 RAG + 微调 Sonar 模型
• Slack：无状态 RAG，LLM 关进 escrow VPC 保数据隐私
• Anthropic：多 agent 研究系统——Opus 编排器 + Sonnet 子代理，token 消耗约为聊天 15 倍
• DoorDash：LLM 聊天机器人的仿真评估飞轮 + 分层 RAG

六、八个常见错误

1. 不澄清需求、约束和成功标准就跳到方案
2. 把 LLM 当真理来源，而不是用检索、工具或引用去落地
3. 只设计 happy path，没有失败模式、监控和评估
4. 报工具名不讲理由——"我用 LangChain"而不是"为什么检索和生成要这样串"
5. 无视成本和延迟——token 预算、模型分层、缓存策略
6. 无视安全——提示注入、数据泄漏、不安全的工具执行
7. 把控制流写进提示词而不是编排器（agentic 设计）
8. 因为 agent 很酷就选 agent，而不是问题需要自主性

对 FDE 的启示（1444 对标）

• T3 智能体设计与构建：五步框架 + 四模式是 agent 方案设计的通用骨架；Anthropic 的"编排器 + 子代理"分工与 DoorDash 的评估飞轮可直接搬进客户方案。
• T2 数据与知识工程：七个维度对比表里"上下文工程取代特征工程"——给客户讲清 RAG 数据侧的建设项（分块、检索质量、引用）就用这张表。
• S2 场景定义与要素拆解：第一步"问题框定"要求 5 分钟内明确用户/约束/质量期望/护栏——与 S2 的场景要素拆解完全同构，练的就是同一块肌肉。
• T4 集成部署与安全运维：错误清单第 5、6 条（成本延迟、安全）是客户生产环境的一票否决项——方案里必须有专门章节。

本课自测

1. AI 系统设计与传统 ML 系统设计在"成本模型"和"失败模式"上的区别是什么？
2. 五步答题框架的时间分配是怎样的？第一步最容易犯什么错？
3. 四种可复用模式是哪四个？哪一种最常见？
4. 选一道高频题（如"文档问答助手"），口头走一遍五步框架（练习）。