理论题精讲:面试官到底怎么问 RAG 和 Agent

约 40 分钟L1L2T1T2

课程来源

[来源] AI Engineering Field Guide(Alexey Grigorev,github.com/alexeygrigorev/ai-engineering-field-guide)

数据口径:候选人/面试官一手报告的真题汇编(Reddit、X、博客、面试指南);覆盖 LLM 实践、RAG、Agent、评估、监控、成本、安全七大主题。

本课为中文改编版,按本平台「1444 能力素养模型」做了 FDE 视角适配。

本课目录(12 节)

理论题精讲:面试官到底怎么问 RAG 和 Agent

开场钩子

理论题很少独立成轮——它们通常织入系统设计、项目深挖或专门的 AI 技术筛。最常见的触发方式:你提到一个概念,面试官顺着问"怎么深入都行"的追问链。所以备考的正确姿势不是背题库,而是对每个高频概念准备好"是什么 → 为什么 → 什么时候不用它"的三层答案。这节课按七大主题给你真题清单和答题要点。

一、LLM 实践

  • LLM 是怎么工作的?
  • temperature 和 top-p 采样是什么?如何影响输出?
  • 上下文窗口是什么?超了会怎样?长文档怎么处理?
  • 如何做 LLM 的记忆管理与上下文管理?

答题要点:这类题考"操控感"——不出架构内部,考你能不能解释并控制模型行为。长文档题落到分块策略与检索,而不是背窗口大小。

二、RAG 系统

  • 什么是 RAG?讲出完整流程
  • 文本检索 vs 向量检索,什么时候用哪个?
  • 给巨型 PDF 报告做系统,你怎么处理?
  • 模型在给定上下文里找不到信息时开始幻觉,怎么治?
  • RAG 常见失败点有哪些?怎么调试?
  • RAG 系统里的引用与来源溯源怎么做?
  • 什么是语义缓存?
  • 如何把 RAG 扩展到 1000 万+ 篇文章?
  • 设计 RAG 系统时的关键权衡是什么?

答题要点:完整流程 = 分块 → embedding → 入库 → 检索 → 重排 → 生成 → 引用。失败点调试要能说出"检索没中 / 中了没用 / 生成跑偏"三段式定位法。幻觉治理的核心答案:强制引用 + 找不到就说找不到的兜底行为。

三、Agent 与工具使用

  • 什么让一个 AI 系统"agentic"?
  • 除 LLM 之外,agent 的必要组件是什么?
  • agent 怎么决定用哪个工具?
  • 什么时候 agent 是错误的解?(高频陷阱题)
  • 如何向非技术干系人解释 agentic 系统?
  • 怎么检测并终止无限规划循环?长时 agent 的终止条件怎么设计?
  • 工具执行怎么安全沙箱?
  • 工具失败、重试、幂等怎么处理?
  • 用工具的 agent 最大的安全风险是什么?
  • 设计题:客服工单 agent(分析、起草回复、复杂问题升级);代码评审 agent

答题要点:"什么时候不用 agent"的答案方向:确定性代码能解就不用;单轮就能完成就不用;不可控环境里不该给自主权。安全风险围绕提示注入、越权工具调用、数据外泄。

四、测试与评估

  • 怎么保证 LLM 输出的一致性和准确性?
  • 怎么评估一个聊天机器人?
  • 评估 LLM 性能看哪些指标?
  • 怎么建黄金数据集?
  • 怎么检测与缓解幻觉?
  • 摘要系统怎么防止事实错误?
  • 聊天机器人"自信但答错"怎么调试?
  • 怎么评估 RAG 管道?怎么评估 agent(工具选择质量、行动推进度、上下文遵从度各指什么)?

答题要点:黄金数据集 = 覆盖易例/脏例/超范围/应拒答/需引用五类,20–50 例起步。评估 agent 的三指标(工具选对没、任务推进没、上下文守住没)是 2026 年新出现的标准问法。

五、监控

  • AI 系统要盯哪些运营/业务指标?
  • 不只离线,生产上怎么评估和监控模型?
  • 新模型上线前怎么测?
  • 生产环境的幻觉率怎么测?
  • 自治 agent 在生产上的行为怎么观察?

六、成本与延迟优化

  • GenAI 应用的延迟怎么降?
  • Time to First Token 是什么,为什么影响体验?
  • 多步管道怎么定位延迟瓶颈?
  • token 成本怎么降?
  • 成本与质量的权衡:小开源模型什么时候"够用"?
  • 什么是模型分层路由?何时路由到小模型?
  • 你的应用每天 100 万次查询,成本怎么优化?
  • 估算企业级 RAG 管道的预算(如 30 万份法律合同)

答题要点:面试官想听的是能算账:token 单价 × 日调用量 × 平均 token 数的估算框架,加上缓存命中率、模型分层、提示词压缩三个降本杠杆。

七、安全与护栏

  • 什么时候、怎么上 LLM 护栏?
  • 提示词和日志里的隐私数据(PII)怎么处理?
  • 怎么防提示注入和越狱?
  • 怎么建违规内容检测系统?
  • 你的应用生成的代码会被执行,怎么防恶意代码?

八、专项主题:JD 不写就不考

以下主题只在 JD 明确要求时出现(岗位偏模型训练或研究向):

  • 微调 vs 提示词 vs RAG 的决策(这道题出现率极高,即使非训练岗)
  • 指令微调与预训练的区别;PEFT/LoRA 是什么、何时用
  • RLHF 管道(SFT → 奖励模型 → PPO),DPO 如何简化它
  • 量化:模型大小、速度、精度的权衡
  • Transformer 内部:自注意力、encoder-only/decoder-only/encoder-decoder 的区别与选用、KV cache、MoE、BPE/WordPiece/字符级分词

九、备考策略与常见错误

重点顺序:RAG(端到端建过一遍)> Agent(会讲架构 + 知道什么时候不用)> 评估(能描述黄金数据集怎么建)。Transformer 内部知识垫底即可。

三个常见错误:

  1. 会描述怎么建系统,不会讲怎么评估和监控它
  2. 只知道"是什么",讲不出 trade-off(什么时候不用)
  3. 无视成本、延迟和失败模式——面试官要生产思维,不要原型思维

对 FDE 的启示(1444 对标)

  • T1 模型认知与选型调优:七大主题中 LLM 实践 + 专项主题直接对应 T1——"temperature/上下文/采样"要练到能向客户 CTO 白板讲清。
  • T2 数据与知识工程:RAG 主题九道真题对应 T2 的行为锚点——尤其"千万级扩展"和"失败点调试",正是驻场期间的真实排障场景。
  • S3 价值评估与 ROI 测算:成本主题里"30 万份法律合同的预算估算"这类题,与 S3 的 ROI 测算完全同构——把答题框架迁移到客户场景测算上。

本课自测

  1. 理论题通常以什么形式出现?"三层答案"指哪三层?
  2. RAG 失败的三段式定位法是什么?
  3. "什么时候不用 agent"——给出至少两条判断依据。
  4. 建黄金数据集要覆盖哪五类样本?

随堂测

逐题作答,即时反馈

0 / 3 已作答
  1. 1. RAG 常见失败点调试时,讲义提出的“三段式定位法”是指?

  2. 2. 面试中聊到长文档处理,面试官期待听到的正确思路是?

  3. 3. 建设黄金数据集时,需要覆盖哪五类样本?