本课目录(12 节)
理论题精讲:面试官到底怎么问 RAG 和 Agent
开场钩子
理论题很少独立成轮——它们通常织入系统设计、项目深挖或专门的 AI 技术筛。最常见的触发方式:你提到一个概念,面试官顺着问"怎么深入都行"的追问链。所以备考的正确姿势不是背题库,而是对每个高频概念准备好"是什么 → 为什么 → 什么时候不用它"的三层答案。这节课按七大主题给你真题清单和答题要点。
一、LLM 实践
- LLM 是怎么工作的?
- temperature 和 top-p 采样是什么?如何影响输出?
- 上下文窗口是什么?超了会怎样?长文档怎么处理?
- 如何做 LLM 的记忆管理与上下文管理?
答题要点:这类题考"操控感"——不出架构内部,考你能不能解释并控制模型行为。长文档题落到分块策略与检索,而不是背窗口大小。
二、RAG 系统
- 什么是 RAG?讲出完整流程
- 文本检索 vs 向量检索,什么时候用哪个?
- 给巨型 PDF 报告做系统,你怎么处理?
- 模型在给定上下文里找不到信息时开始幻觉,怎么治?
- RAG 常见失败点有哪些?怎么调试?
- RAG 系统里的引用与来源溯源怎么做?
- 什么是语义缓存?
- 如何把 RAG 扩展到 1000 万+ 篇文章?
- 设计 RAG 系统时的关键权衡是什么?
答题要点:完整流程 = 分块 → embedding → 入库 → 检索 → 重排 → 生成 → 引用。失败点调试要能说出"检索没中 / 中了没用 / 生成跑偏"三段式定位法。幻觉治理的核心答案:强制引用 + 找不到就说找不到的兜底行为。
三、Agent 与工具使用
- 什么让一个 AI 系统"agentic"?
- 除 LLM 之外,agent 的必要组件是什么?
- agent 怎么决定用哪个工具?
- 什么时候 agent 是错误的解?(高频陷阱题)
- 如何向非技术干系人解释 agentic 系统?
- 怎么检测并终止无限规划循环?长时 agent 的终止条件怎么设计?
- 工具执行怎么安全沙箱?
- 工具失败、重试、幂等怎么处理?
- 用工具的 agent 最大的安全风险是什么?
- 设计题:客服工单 agent(分析、起草回复、复杂问题升级);代码评审 agent
答题要点:"什么时候不用 agent"的答案方向:确定性代码能解就不用;单轮就能完成就不用;不可控环境里不该给自主权。安全风险围绕提示注入、越权工具调用、数据外泄。
四、测试与评估
- 怎么保证 LLM 输出的一致性和准确性?
- 怎么评估一个聊天机器人?
- 评估 LLM 性能看哪些指标?
- 怎么建黄金数据集?
- 怎么检测与缓解幻觉?
- 摘要系统怎么防止事实错误?
- 聊天机器人"自信但答错"怎么调试?
- 怎么评估 RAG 管道?怎么评估 agent(工具选择质量、行动推进度、上下文遵从度各指什么)?
答题要点:黄金数据集 = 覆盖易例/脏例/超范围/应拒答/需引用五类,20–50 例起步。评估 agent 的三指标(工具选对没、任务推进没、上下文守住没)是 2026 年新出现的标准问法。
五、监控
- AI 系统要盯哪些运营/业务指标?
- 不只离线,生产上怎么评估和监控模型?
- 新模型上线前怎么测?
- 生产环境的幻觉率怎么测?
- 自治 agent 在生产上的行为怎么观察?
六、成本与延迟优化
- GenAI 应用的延迟怎么降?
- Time to First Token 是什么,为什么影响体验?
- 多步管道怎么定位延迟瓶颈?
- token 成本怎么降?
- 成本与质量的权衡:小开源模型什么时候"够用"?
- 什么是模型分层路由?何时路由到小模型?
- 你的应用每天 100 万次查询,成本怎么优化?
- 估算企业级 RAG 管道的预算(如 30 万份法律合同)
答题要点:面试官想听的是能算账:token 单价 × 日调用量 × 平均 token 数的估算框架,加上缓存命中率、模型分层、提示词压缩三个降本杠杆。
七、安全与护栏
- 什么时候、怎么上 LLM 护栏?
- 提示词和日志里的隐私数据(PII)怎么处理?
- 怎么防提示注入和越狱?
- 怎么建违规内容检测系统?
- 你的应用生成的代码会被执行,怎么防恶意代码?
八、专项主题:JD 不写就不考
以下主题只在 JD 明确要求时出现(岗位偏模型训练或研究向):
- 微调 vs 提示词 vs RAG 的决策(这道题出现率极高,即使非训练岗)
- 指令微调与预训练的区别;PEFT/LoRA 是什么、何时用
- RLHF 管道(SFT → 奖励模型 → PPO),DPO 如何简化它
- 量化:模型大小、速度、精度的权衡
- Transformer 内部:自注意力、encoder-only/decoder-only/encoder-decoder 的区别与选用、KV cache、MoE、BPE/WordPiece/字符级分词
九、备考策略与常见错误
重点顺序:RAG(端到端建过一遍)> Agent(会讲架构 + 知道什么时候不用)> 评估(能描述黄金数据集怎么建)。Transformer 内部知识垫底即可。
三个常见错误:
- 会描述怎么建系统,不会讲怎么评估和监控它
- 只知道"是什么",讲不出 trade-off(什么时候不用)
- 无视成本、延迟和失败模式——面试官要生产思维,不要原型思维
对 FDE 的启示(1444 对标)
- T1 模型认知与选型调优:七大主题中 LLM 实践 + 专项主题直接对应 T1——"temperature/上下文/采样"要练到能向客户 CTO 白板讲清。
- T2 数据与知识工程:RAG 主题九道真题对应 T2 的行为锚点——尤其"千万级扩展"和"失败点调试",正是驻场期间的真实排障场景。
- S3 价值评估与 ROI 测算:成本主题里"30 万份法律合同的预算估算"这类题,与 S3 的 ROI 测算完全同构——把答题框架迁移到客户场景测算上。
本课自测
- 理论题通常以什么形式出现?"三层答案"指哪三层?
- RAG 失败的三段式定位法是什么?
- "什么时候不用 agent"——给出至少两条判断依据。
- 建黄金数据集要覆盖哪五类样本?
随堂测
逐题作答,即时反馈
1. RAG 常见失败点调试时,讲义提出的“三段式定位法”是指?
2. 面试中聊到长文档处理,面试官期待听到的正确思路是?
3. 建设黄金数据集时,需要覆盖哪五类样本?