02
RAG 评测集设计
技术实战线给一个企业知识库场景（如 HR 制度库、产品手册、客服知识库）设计 20 条 RAG 评测样本，每条含问题、参考答案、检索关键词、难度四要素；并定义评测口径：用哪些指标（如检索命中率、答案准确率、拒答正确率）、阈值多少、怎么测量。评测集要有代表性、难度有梯度，别人拿到就能照着跑。
评审 rubric
| 维度 | 权重 | 评分标准 |
|---|---|---|
| 样本代表性 | 30% | 20 条样本覆盖知识库的主要主题与用户高频问法，问题表述贴近真实用户（不是出题人自说自话），参考答案可在知识库中找到依据 |
| 口径严谨 | 30% | 评测口径含指标定义、阈值、测量方法三要素：指标定义无歧义（命中怎么算、准确率分子分母是谁），阈值给出具体数字与依据，测量方法可重复 |
| 难度梯度 | 20% | 易/中/难三档分布合理且有明确判据：易=关键词直接命中，中=需要跨段落或同义改写，难=多跳推理/表格数据/知识库外应拒答；包含故意设计的拒答样本 |
| 可执行 | 20% | 检索关键词可直接用于检索测试，样本表结构完整可直接搬进评测脚本，评测成本（标注量/耗时）在个人或小团队可承受范围内 |
0 字 · 未保存