Take-home 作业通关：100+ 份真实提交的规律

开场钩子

51 家披露面试流程的公司里，33% 用 take-home，另有 5 家用付费工作试用。有人分析了 100+ 个候选人在 GitHub 上公开的真实提交，发现了一个扎心的规律：YC 创始人说，**"候选人不是从评估（evals）开始的"是头号红旗。**大多数人花 90% 时间写功能、10% 时间补测试——而高分提交正好相反。这节课拆题型谱系、评分标准和通关清单。

一、题型谱系（按真实提交占比）

• RAG 系统 40%+：文档上传、向量库、引用支持
• Agentic 系统 30%+：工具调用、多步推理、多 agent 编排
• 对话式 AI 20%+：聊天机器人、实时客服 agent、语音助手
• 文档处理 15%：PDF 解析、数据抽取、成绩单提取
• LLM-as-judge 评估 10%+：建一个系统，再用另一个 LLM 评估它

格式：异步完成，截止 2–7 天；提交代码 + 说明或可运行原型；随后是 45–90 分钟的防御轮（walkthrough 答辩）。AI 工具政策：只有 1 家明确"允许并鼓励"，没有任何公司明确禁止（禁令只出现在现场轮），多数不提——默认可用，但防御轮会检验你是否真懂。

二、真题样例（按类型）

RAG 与文档问答：PDF 摄入 + 向量库 + 带引用问答，答案不在检索结果里时必须回答"我没有这个信息"（5+ 公司出现过）；政策文档助手，每条答案强制引用来源 + 超范围问题安全兜底 + 附 7 题三分类评估集（可答/部分可答/不可答）；多跳问题（跨文档组织信息）；重构一个混乱的 RAG 应用：保留全部外部行为（API 端点不变）、消除全局可变状态、无需起服务即可测试；政府文档 agentic RAG：100% 开源栈（Ollama + CrewAI + pgvector）+ RAGAS 指标评估（忠实度、答案相关性、上下文精确率/召回率）。

Agent 与工具调用：助手 agent 处理数据库查询、文档搜索、bash 命令——bash 命令需用户显式批准；销售洞察 agent：必须检测并拒答 PII 请求（邮箱、电话、信用卡号），不给 LLM 传原始行数据、只给聚合值，按准确率/安全拒答正确率/推理质量三维评分；最小工作流引擎：图节点 + 状态管理 + 分支循环，最多 50 步，必须内置防死循环，单测强制（6+ 份提交）；5-agent CBT 治疗系统：agent 自主设计-评审-修正练习，人审批准后才能定稿。

文档抽取：成绩单抽取 API（复杂表格 + 手写体 → 结构化 JSON）；医生口述 → 结构化临床文档；法律合同分析（提取关键信息 + 识别风险：自动续约陷阱、责任条款、IP 归属、竞业限制）+ 结构化摘要。

全栈 AI 应用：LLM 处理管道——智能路由 + 多级缓存（精确 + 语义）+ 提供方健康监控与故障转移 + 分布式追踪，目标：100+ req/s、p95 < 2s、缓存命中率 > 40%；React + FastAPI + LangGraph（5+ 工具）的 CRM 模块，交付物 = GitHub 仓库 + 10–15 分钟 demo 视频。

新趋势（2026）：法律文档 AI 成独立品类——摄入混乱法律文档 → 落地检索 → 带引用草稿 → 从操作员修改中学习的改进闭环。

三、作业里出现的评分标准

• 功能正确性：端到端能跑、边界处理、输出正确
• 代码质量与架构：模块化、可扩展、错误处理
• 评估方法：有没有建评估工具、定义指标、系统化测质量——单一最大差异点
• 生产就绪：扩缩容考虑、缓存、监控、成本优化、安全（PII、输入消毒、限流）
• 性能指标：p95 < 2s、100+ req/s、缓存命中 > 40%、成本降 30%
• 测试与文档：单测（有时强制）、80% 覆盖率目标、README 质量、设计决策与权衡说明
• 有的作业给加权 rubric：30% 功能 + 30% 挑战完成 + 25% 上下文工程 + 15% 代码质量

四、通关清单

动手前：先问澄清问题；把时间估计翻倍。

开发时：

1. 从评估开始——先建评估工具再写主逻辑（YC：不这么做是红旗）
2. 记录设计决策与权衡——为什么选这个而不是那个
3. 边界测试——即使没强制要求
4. 可配置化——有工程师把 PDF 摘要 CLI 的模型和分块策略做成配置文件，72 小时内拿了两个竞争 offer
5. 展示生产意识——错误处理、监控钩子、成本估算
6. 提交带 Loom/录屏讲解

防御轮：练熟讲架构决策、权衡、以及"多给时间你会改什么"。后续面谈往往比代码本身更重。

常见错误：不问澄清问题就闷头做；投入太少（"大多数工程师在 take-home 上花的精力远远不够"）；不记录设计决策；无正当理由的过度工程；不评估 AI 输出质量（最大差异点）；不准备答辩。

五、面试官真正在测什么（拿 offer 的底层逻辑）

JD 上写的是地板（Python、云、"熟悉 LLM"），面试官真正给分的：

• 评估框架 > 模型构建："不成功的 LLM 产品几乎共享同一个根因：没有健壮的评估体系"
• 成本与延迟推理："10 万日活 × 10 次交互 × 约 2K token = 20 亿 token/天 ≈ 1.3 万美元/天（GPT-4 Turbo）"——这种估算把生产思维者和原型思维者分开
• 权衡流利度：不是"什么是 RAG"而是"什么时候不该用 RAG"
• 系统思维：检索-生成-反馈的循环，"GenAI 系统设计不再是管道，是生命周期"
• 可观测性：TTFT、TBT、token/s、每用户成本——从第一天就有，不是事后补
• 安全护栏：提示注入、数据泄漏、不安全工具执行——跳过即暴露生产意识薄弱
• AI 编码工具素养：怎么提示、验证、指挥 Cursor/Claude Code
• Python 深度：竞态、GIL、async 模式——"我们招 Python 强的人，因为没法指望谁已有 GenAI 经验"

分级关注点：初级看编码基本功与学习意愿；中级看端到端系统（RAG、embeddings、生产意识）；高级看权衡流利度、规模设计、失败模式推理、成本优化；Staff+ 看技术领导力与跨团队影响。

50 场面试里把人分开的信号：前 5 分钟定生死，开场讲影响不讲模型名；像建造者一样说话（"我们试过微调但幻觉率太高，换成了混合 RAG"）；成本意识是超能力——有人展示了 OpenAI 开销降 70% 的前后对比，第二天拿 offer；诚实胜过忽悠（"我还没用过 LangSmith，但如果你用它做评估，我想听听你们怎么设指标"→ 照样拿 offer）；不需要成为独角兽——一两个领域有深度的强通才就够了。

六、8–12 周备考时间表

• 第 1–2 周：编码基本功（NeetCode 150/250，重模式不重背诵）
• 第 3–4 周：ML/LLM 实现（NumPy/PyTorch 手写注意力、LoRA）
• 第 5–6 周：系统设计（RAG 架构、agentic 模式、模型服务 + 目标公司工程博客）
• 第 7–8 周：建/打磨 1–2 个带评估、部署、文档的作品集项目
• 第 9–10 周：模拟面试（口头权衡解释、STAR 故事、系统设计走板）
• 第 11–12 周：目标公司定制准备（博客、产品、价值观；录屏练自我介绍）

对 FDE 的启示（1444 对标）

• T3 智能体设计与构建：真题里的"bash 需审批""PII 拒答只给聚合值""防死循环 + 50 步上限"就是客户生产环境 agent 的安全规格——照此标准建内部 agent。
• S3 价值评估与 ROI 测算：成本估算题（2B token/天 ≈ $13K/天）的框架直接用于客户方案的 TCO 测算——这正是 FDE 报价单的底层算术。
• D3 价值验证与运营迭代："从评估开始"是 take-home 的头号信号，也应是 FDE 交付的头号纪律：先和客户定义"什么算有效"，再动手建。
• D2 沟通翻译与预期管理：防御轮 = 客户方案评审的预演——讲决策、讲权衡、讲"多给时间改什么"。

本课自测

1. take-home 提交的五大题型及占比？YC 创始人说的"头号红旗"是什么？
2. 真题里出现过哪些"安全规格"？（举三条）
3. 评分标准中哪一项是"单一最大差异点"？
4. "10 万日活成本估算"的算式怎么列？这个框架还能用在哪？