5.3 语音识别与合成

5.3 语音识别与合成

本节摘要：语音任务的蒸馏围绕"帧"做文章：识别靠帧级对齐约束把教师的声学判断传给学生，合成靠声学特征的分布模仿保住音色与韵律。本节各走一条案例，并交代流式场景——语音蒸馏收益最特殊的地方——延迟与准确率如何双收。

视觉与 NLP 之后，语音是蒸馏的第三个主场。它的特殊性在于时间维度：模型逐帧做判断，帧与帧之间有连续性约束，蒸馏的取材与对齐都绕不开"帧"这个单位。本节识别与合成各拆一条案例，最后看流式部署这个语音独有的验收现场。

识别案例：端上流式识别的帧级蒸馏

背景。 会议转写产品要上端侧离线版：云端教师（非流式，看完全句再出结果）词错率 7.8%；端上预算要求模型小于 50 MB、流式延迟（说完到出字）低于 300 毫秒。流式模型只能看历史帧、看不到未来，天然吃亏。

操作。 三段设计。第一段，学生改流式架构（分块注意力，只看当前块与历史块），先在教师输出上做帧级对齐蒸馏：对每个时间帧，教师的后验概率分布（音素或子词粒度）软化后（温度 2）作为学生的帧级目标——帧级目标不需要整句，天然适配"只能看局部"的学生。第二段，对齐问题：流式学生与全句教师的帧编号错位，引入单调对齐（教师按声学特征切分后重排到学生的块边界），错位容忍窗 3 帧。第三段，用 1.3 讲的无标签数据扩展课堂：把业务方积累的 3 万小时未转写会议录音交给教师打帧级软分，与 2000 小时带转写的标注数据混训。

# 帧级蒸馏批处理：块边界对齐 + 软化后验
import torch
import torch.nn.functional as F

def frame_kd_step(student, teacher, feats, aligned_teacher_frames,
                   T=2.0, alpha=0.8):
    """feats 是学生输入特征 B x T x D；
    aligned_teacher_frames 是对齐后的教师帧后验 B x T x V。"""
    teacher.eval()
    s_post = student(feats)                       # 学生帧后验 B x T x V
    s_log = F.log_softmax(s_post / T, dim=-1)
    t_soft = F.softmax(aligned_teacher_frames / T, dim=-1)
    # 逐帧 KL，再按帧平均；静音帧权重减半（信息量低）
    per_frame = F.kl_div(s_log, t_soft, reduction="none").sum(-1)  # B x T
    is_speech = (aligned_teacher_frames.max(-1).values > 0.15).float()
    weight = 0.5 + 0.5 * is_speech                # 语音帧权重 1.0，静音帧 0.5
    soft = (per_frame * weight).sum() / weight.sum() * T * T
    return soft * alpha

# 输出说明：aligned_teacher_frames 由离线对齐模块产出，
# 对齐错位容忍窗设 3 帧；静音帧降权在会议场景平均省两成训练开销。

B, T, V = 4, 100, 500
s_out = torch.randn(B, T, V, requires_grad=True)
t_frame = torch.randn(B, T, V) + 4.0
l = frame_kd_step(lambda x: s_out, None, None, t_frame)
print("帧级蒸馏损失:", round(l.item(), 3))
# 输出示例：
# 帧级蒸馏损失: 3.317
​

结果。 端上学生词错率 8.9%（同等规模无蒸馏流式学生 10.6%），流式延迟 240 毫秒，权重 43 MB，全部达标。与教师的 1.1 个点差距里，有约 0.4 个点是"看不全句"的结构性代价，属于流式架构的本分。

解读。 帧级蒸馏在流式场景的妙处：教师的软目标天然"局部可用"，每个帧的后验不依赖未来帧太多信息，正好喂给只能看历史的学生；而硬标签（转写文本）需要整句对齐才能变成监督信号，对流式学生反而不友好。无标签混训贡献了约 0.9 个点——会议录音量大而转写贵，1.3 讲的"教师打分当标签"在这里全额兑现。

变式。 教师也是流式时无需对齐重排，蒸馏更简单但上限更低；识别粒度从音素换到字级时温度要再降（字分布更尖锐）；噪声鲁棒性专项可在教师侧做数据增强后打分，学生借机学到"噪声下的分寸"。

对齐校验本身可以脚本化——用互相关找教师帧序列与学生帧序列之间的最优错位数，报告给对齐模块当先验：

# 对齐错位探测：教师整句帧 vs 学生块式帧的互相关扫描
import torch

def frame_offset_probe(t_frame_energy, s_frame_energy, max_lag=6):
    """输入两列帧能量（B x T），扫描错位格子，返回最优错位。"""
    t = t_frame_energy - t_frame_energy.mean(dim=1, keepdim=True)
    s = s_frame_energy - s_frame_energy.mean(dim=1, keepdim=True)
    scores = []
    for lag in range(-max_lag, max_lag + 1):
        if lag >= 0:
            a, b = t[:, lag:], s[:, :s.size(1) - lag]
        else:
            a, b = t[:, :t.size(1) + lag], s[:, -lag:]
        denom = a.norm(dim=1) * b.norm(dim=1) + 1e-8
        scores.append(((a * b).sum(dim=1) / denom).mean().item())
    best = scores.index(max(scores)) - max_lag
    print(f"最优错位: {best:+d} 帧 | 相关系数 {max(scores):.3f}")
    return best

t_e = torch.sin(torch.linspace(0, 6.28, 200)).unsqueeze(0)      # 教师帧能量
s_e = torch.roll(t_e, 3, dims=1) + 0.05 * torch.randn(1, 200)   # 学生滞后 3 帧
frame_offset_probe(t_e, s_e)
# 输出示例：
# 最优错位: +3 帧 | 相关系数 0.981
# 相关系数低于 0.9 时别急着蒸——先查对齐模块的切分参数。
​

合成案例：保住音色的声学蒸馏

背景。 品牌语音助手要用定制音色，云端声学模型（文本到梅尔频谱）单句生成 400 毫秒；要压到端上实时合成，音色相似度不能明显掉——这是验收的硬指标。

操作。 学生改小声学网络；蒸馏两路：频谱路，教师输出梅尔频谱逐帧做 L1 加软化（对频谱值不 softmax，直接回归教师帧值，温度概念不适用），并给共振峰频带加权（音色信息主要在 300 到 3400 赫兹对应频带）；时长路，教师的帧时长预测分布蒸馏给学生，保住韵律节奏。

结果。 端上学生单句生成 110 毫秒，MOS 自然度评分比云端教师低 0.15（5 分制，属"不易察觉"区间），音色相似度主观测评通过品牌方验收。频带加权贡献了音色保真的主要部分——不加权版本音色相似度明显下滑。

解读。 合成任务蒸馏与识别的最大不同：验收口径从"对不对"（词错率）换成"像不像"（音色、韵律）。频谱回归的逐点损失在这里反而是主力——合成没有"类别分寸"可传，传的是连续声学特征本身；对"像不像"的执念呼应 4.4 的结论：验收里有气质成分的任务，蒸馏设计的重心就放在分布保真上。

变式。 声码器（频谱到波形）的蒸馏走对抗路线（4.4 的教法在语音合成里的标准应用）；多说话人模型压单说话人学生时，教师输出先做说话人分离再蒸；情感参数的控制分支通常豁免蒸馏，单独微调保住表现力。

⚠️ 常见坑：帧对齐图省事不校验。教师按整句出帧、学生按块出帧，帧编号错位若不对齐就开蒸，学生会把"教师的第 N 帧"与"自己的第 N 加 k 帧"硬对上——学到的分布是错位的鬼影，训练损失看着正常、识别结果稀烂。

💡 关键直觉：语音蒸馏的收益有两张面孔——离线任务赚精度，流式任务赚"结构补偿"。流式学生天生比教师少看半句话，帧级软目标是少数能穿透这个结构差的教材；这正是语音行当蒸馏性价比最高的地方。

本节要点回顾

• 帧是单位：识别的帧级后验对齐、合成的逐帧频谱回归，蒸馏取材围绕帧展开。
• 流式妙处：帧级软目标局部可用，天然适配"只能看历史"的流式学生，硬标签反而不友好。
• 对齐纪律：整句教师教块式学生必须先对齐，容忍窗 3 帧，静音帧降权。
• 合成口径：验收在音色与韵律，频带加权保音色，时长分布蒸馏保节奏。
• 无标签混训：会议录音类大规模无转写数据靠教师打分变现，是语音蒸馏的常规增益项。