6.1 量体裁衣：fMLLR 与 i-vector 声学模型自适应

6.1 量体裁衣：fMLLR 与 i-vector 声学模型自适应

本节摘要：自适应用少量目标域信息给模型"改衣服"：特征空间变换按说话人校正特征分布，说话人向量把嗓音身份浓缩成一串数字拼进特征。本节讲清两者的机制、两遍解码的流程、训练时与测试时自适应的分工、数据要求与过拟合防备。承接第 5 章的解码产物，是增产篇第一锹。

新员工的入职培训

一个在广播新闻语料上训练的模型，突然接到客服热线的活：电话信道的窄带、嘈杂的背景、慌乱的语速——指标当场跳水。模型没变、任务没变，变的是"声音的长相"。自适应解决的就是这类错配：不改模型主体，只根据目标说话人或目标信道的信息，做小幅度的个性化校正。好比新员工不必重新读大学，入职培训几小时即可上岗。

错配的来源要分清两类，处方不同。说话人错配：目标用户的嗓音、口音与训练分布不同，处方是按人校正；信道错配：录音设备与环境不同，处方是按录音条件校正（常按每条录音处理）。两类错配常常叠加，实操中说话人粒度的校正对两者都有缓解。

fMLLR：给特征做一次线性体检

特征空间变换的思路直白：每个说话人的特征分布，与训练总体的分布总有系统性偏移，那就为每人估一个线性变换，把他的分布拉回总体附近。估计的材料是解码结果——第一遍解码给出"这句话大概是哪些词"，据此把帧对齐到状态，统计这个人的特征均值方差，解出变换矩阵，再用变换后的特征重解码一遍。

# 两遍解码的自适应流程（高斯模型，示意）
# 第一遍：裸模型直接解
steps/decode.sh --nj 4 exp/tri3/graph data/my_dev exp/tri3/decode_dev
# 第二遍：按第一遍结果估计逐说话人变换，再解一遍
steps/decode_fmllr.sh --nj 4 \
  exp/tri3/graph data/my_dev exp/tri3/decode_dev_fmllr
# 预期输出：第二遍错误率常降一到三个点；
# 说话人越多、口音越杂，降幅越明显
​

这套"先裸解、再校正、后复解"的循环有个前提：第一遍结果不能太离谱。垃圾进垃圾出的定律同样适用——第一遍错得面目全非，统计出来的变换就是错配的放大器。目标域与训练域差异过大时，先用第 6.2 节的数据增强拉近分布，再谈自适应。

# 说话人均值漂移校正的最小示例
import numpy as np

rng = np.random.default_rng(7)
overall = rng.normal(0.0, 1.0, (5000, 2))       # 训练总体分布
speaker = rng.normal(0.8, 0.6, (800, 2))        # 某说话人：均值偏移加缩窄
# 校正：减去该说话人均值，除以该说话人标准差，再乘回总体标准差
corrected = (speaker - speaker.mean(0)) / speaker.std(0) * overall.std(0)
print("校正前均值：", speaker.mean(0).round(2))
print("校正后均值：", corrected.mean(0).round(2))
# 输出：
# 校正前均值： [0.79 0.81]
# 校正后均值： [0. 0.]
# 解读：线性变换把个体分布拉回总体口径，
# 特征空间变换干的就是这件事，只是矩阵由解码统计解出
​

i-vector：把嗓音浓缩成一串数字

说话人向量走另一条路：训练一个能把任意一段语音压缩成几百维向量的提取器，向量刻画"这是谁在怎样的信道里说话"，再把它拼接到声学特征后面，让网络自己学会利用这份身份信息。与特征空间变换相比，它有三个本质差异：一次前向即可提取（不需要两遍解码）、向量可拼接进神经网络输入（天然适配第 4 章的新式模型）、同一框架顺手覆盖说话人识别等任务。

# 说话人向量的拼接口径（示意）
# 原始特征：四十维滤波器组
# 拼接后：四十维特征 + 一百维说话人向量 = 一百四十维
# 向量按句提取、按帧复用；
# 训练与解码用同一套提取器，口径一致
​

训练时与测试时的分工

自适应分两个战场。训练时自适应：训练期间就为每个说话人估计变换，让模型"在均质化的世界里学发音"，成品模型对各类嗓音更宽容——第 4.1 节五段接力的第四段正是它。测试时自适应：拿现成模型对付新域，靠两遍解码或向量提取现场校正。前者治本但要重训，后者治标但即插即用，工程上常常两道都用：训练时做均质化，测试时再做微调。

目标域数据的最低门槛因方法而异。两遍解码的自适应，每个说话人几十秒音频就够启动，几分钟更稳；向量提取按句工作，单句即可出向量但统计噪声偏大。没有转写也没关系——两遍解码的第一遍就是自动转写，这叫无监督自适应；如果目标域有少量人工转写，可以把第一遍换成"参考答案"，校正更准，这是有监督自适应。

模型空间的自适应顺带交代一笔，作为本节地图的收边。前面讲的手段都作用在特征侧或输入侧，还有一族方法直接改模型参数：按目标域数据微调模型均值（最大后验类方法），或为每个说话人估计模型参数的线性回归（模型空间线性变换类方法）。它们在目标域标注数据较充足时效果扎实，代价是每个说话人要存一份模型或变换，部署变重。工程趋势是特征侧优先——不动模型本体，部署与更新都轻，模型空间手段留给标注充足又追求极致的场景。

⚠️ 常见坑一：自适应数据极短（一句话几秒）时硬做变换，统计量噪声大到把特征拉歪，症状是"自适应后更差"。短数据要么并入邻近说话人，要么放弃校正。坑二：测试时自适应的说话人分组错乱（一句话被当成了几个人），变换矩阵互相打架。坑三：向量提取器与声学模型用了不同特征口径，拼接进来的身份信息全是噪声。

💡 关键直觉：自适应的本质是"用少量目标域证据修正先验"。所有配方差异都在回答两个小问题——证据从哪来（解码结果还是人工转写）、修正施加在哪（特征空间还是模型参数）。把这两个问题想清楚，任何新出现的自适应方法你都能归位。

裁缝铺交割

• 先分错配类型：说话人错配按人校正，信道错配按录音校正，药不对症白忙活。
• 两遍解码是标准动作：裸解、估计、复解，第一遍质量决定上限。
• 向量适配新式模型：一次提取、按帧拼接，神经网络时代的主流选择。
• 短数据宁可不裁：统计噪声下的自适应是负资产。

衣服裁好了，下一锹挖到数据本身：没有新录音，怎么凭空造出更多训练料。