智能客服质检：从录音到质检报告
一通客服电话结束，用户问题解决没有、客服漏没漏关键条件——录音少可以逐条听，录音多了人工抽听既贵又覆盖不全。用"语音识别 + 音频多模态 + 大模型评分"组合，把每通电话变成一份有据可查的质检报告——这是语音类 AI 在企业里最好卖的场景之一，因为它直接对上质检部门的 KPI。
一、先定规则：质检到底查什么
自动质检之前，先把业务的服务要求翻译成可评分的规则表。以语言培训机构客服为例：
| 质检项 | 检查内容 | 分值 |
|---|---|---|
| 开场与身份说明 | 主动问候、说明机构与身份、询问需求 | 5 |
| 需求识别与回应完整性 | 识别问题并逐项有效回应 | 20 |
| 信息准确性与风险控制 | 有无编造、有无不当承诺（如学习效果） | 15 |
| 问题解决与承诺闭环 | 核心问题是否解决、未解决是否说明后续 | 15 |
| 服务态度与专业措辞 | 有无不耐烦、责怪、敷衍、推卸 | 15 |
| 打断与通话节奏 | 抢话、打断、异常节奏 | 10 |
| 客户情绪与服务修复 | 客户负面情绪及客服安抚 | 10 |
| 结束语与待办确认 | 礼貌结束、未完成事项确认 | 10 |
| 合计 | 100 |
注意规则表的分层：需求识别、信息准确性看通话内容就能判断；态度、情绪、打断必须结合音频本身（语气、语速）分析。规则表是和客户质检部门共创的产物——这张表定了，验收标准就定了。
二、模型分工：一条流水线各干各的
从录音到报告分两段。
第一段：电话数据分析。
| 分析任务 | 模型/组件 | 产出 |
|---|---|---|
| 有效语音检测 | FSMN-VAD | 有效语音区间 |
| 说话人分离 | CAM++ | spk0/spk1 及发言时间 |
| 语音识别 | Qwen3-ASR-0.6B | 带时间戳的转写文本 |
| 说话人角色识别 | Qwen3-4B（小模型） | 把编号转成"客服/客户" |
| 语音综合分析 | Qwen2.5-Omni-3B（音频多模态） | 客服语气、客户情绪、抢话打断 |
关键动作是对齐：转写文本 × 说话人 × 时间戳对齐成"第 N 轮 [客服] 0.00-4.82秒：……"的结构化记录；再用音频多模态模型补上文本看不到的语气与情绪信息。
第二段：综合质检。把规则表 + 规范化分析结果交给 Qwen3-8B：结合完整通话判断需求、回应与解决情况，逐项评分并给出每项的依据——质检报告里每个扣分都要能指回通话原文，客户才会认。
一个专业细节：规范化结果里带信息核验说明——"本次分析未提供企业业务规则，课程时间等业务信息只能判断客服是否明确回应，无法核验内容准确性"。把模型能力边界写进报告，是防止过度承诺的关键动作。
三、FDE 视角：质检项目的打法
- 规则表共创会是售前利器：拉客户质检主管一起把 100 分怎么分定下来，项目范围和验收标准同时锁定；
- 小模型干便宜活，大模型干判断活：角色识别用 4B、综合评分才用 8B——成本结构写进方案，体现工程成熟度；
- 与平台能力联动：这套"录音 → 转写 → 分析 → 报告"的链路与听记/客服跟进场景同构，交付过的质检规则表和评分提示词可以沉淀为技能包复用；
- 合规提醒：通话录音用于 AI 分析需客户确认员工知情同意，涉个人信息的脱敏口径在方案里写明。
本课自测
- 质检规则表为什么要分层？哪些质检项必须结合音频而不能只看转写文本？
- 流水线里说话人分离和角色识别为什么是两个步骤？
- "信息核验说明"防的是什么风险？
- 为什么质检报告的每个扣分都要能指回通话原文？
随堂测
逐题作答，即时反馈
1. 自动质检项目开工前，为什么要先和客户质检部门共创『100 分规则表』？
2. 质检项里『服务态度、客户情绪、是否打断』这类判断，为什么必须结合音频而不能只看转写文本？
3. 质检报告里的『信息核验说明』（如：业务信息只能判断客服是否明确回应，无法核验准确性）起什么作用？