把业务素材变成能训练的数据

客户说："我们有几十页的产品手册、几年的客服记录、一堆操作规范，能拿来微调吗？"——能，但中间隔着一条完整的数据工程链。微调效果的上限，八成在这条链上决定，而不是在训练超参上。

一、配方：公开数据保通用，业务数据教专业

有一个必须提前想清楚的问题：**直接用领域数据训练，模型会不会丢掉通用能力？**标准答案是配比：

• 公开数据集补通用能力：文本分类与推理（GLUE/SuperGLUE/CLUE）、阅读理解与问答（SQuAD/CMRC）、摘要（CNN/DailyMail）、指令对话（Alpaca/ShareGPT/OpenOrca）、多模态图文（COCO）。魔搭 Dataset Hub 有 4 万多个可检索、可预览、SDK 直接加载；
• 业务数据教企业专有知识：产品说明书/操作手册/业务规范（提取产品知识与规则）、客服记录（构造意图识别与问答）、FAQ（直接转问答对）、专家案例（构造复杂场景数据）。

选开源数据集四查：样本数量、字段格式、标签类型、数据质量；下载前用"数据预览"翻样本，别对着字段名猜。

二、业务数据不能直接喂：四步加工链

几十页的 Word/PDF 手册、混杂系统消息的客服记录，要先走完这条链：

1. 提取：从文档格式中抽正文；
2. 转换：按任务整理成问答对/分类样本/指令数据；
3. 筛选：客服记录剔除系统消息、无效对话和重复内容；
4. 脱敏：姓名、电话、证件号、客户信息按企业安全要求处理——敏感信息进训练集是合规事故，不是质量问题。

三、只有文档没有问答：让大模型合成数据

真实项目最常见的困境：材料是知识，不是训练样本。数据合成四法：

• 指令数据合成：按已有任务/少量示例生成新指令与回答；
• 问答合成：输入业务文档，让模型按段落生成问答对（手册按章节切分 → 每段生成若干问答）；
• 分类合成：指定标签和样例生成各类文本；
• 边界合成：针对易混类别生成相似样本，强化边界判断。

合成数据不能直接训练——模型可能生成错误答案、重复样本，甚至虚构不存在的产品规则。书里有个经典案例：原文规定"退款需人工审核，审核通过后才能退款"，合成出的答案却是"提交后即可自动退款，无需人工审核"——答案与业务规则冲突，训进去模型就学会了错误流程。

质量闸门：把"原始资料 + 问题 + 答案"一起喂给模型做一致性校验（判不符则删除或重生成）；再过滤重复与过于相似的样本。还有个细节：自我认知数据要先训好，否则模型会自称 ChatGPT/Claude——客户上线第一天就会被发现。

四、最后三道闸门

1. 抽检：看有无空值、乱码、明显错误，答案格式是否前后一致；
2. 训练/测试分离：验收用的样本绝不混进训练集，否则分数好看却无法判断泛化；
3. 版本留痕：数据集版本、处理脚本、清洗规则全部记录——复现和回溯都靠它。

五、FDE 视角：数据工程是驻场工作量的大头

• 报价时数据加工按独立工作项列（提取/转换/脱敏/合成/校验），客户最容易低估的就是这块，前期讲清可避免后期扯皮；
• 脱敏方案要过客户安全审查：谁有权碰原始数据、脱敏在客户内网做还是拿出去做，写进方案；
• 合成数据的一致性校验脚本本身就是可复用交付物——下一个项目直接带走（沉淀为技能包也是同理）。

本课自测

1. 为什么要"公开数据 + 业务数据"配比着用？只用领域数据训练的风险是什么？
2. 业务数据进入训练集前的四步加工链是什么？哪一步是合规红线？
3. 退款案例里合成数据犯了什么错？用什么方法能在训练前拦住它？
4. 为什么验收样本绝不能混进训练集？