第 2 章 声学侧:把声音炼成特征


第 2 章 声学侧:把声音炼成特征

章节摘要:这一章是流水间的第一台主力工位带,它回答一个问题:一段一段的原始声音,凭什么能被机器判断"处在什么音素"。答案是裁判看不懂波形,却看得懂数字特征。本章从声学模型的本职说起,带着你走完"波形到帧、帧到特征、特征到音素状态"的整条声学路线,再讲清传统与深度两代声学模型怎么在这条路上各自发力、又各有什么毛病。

学习目标

  1. 能说清声学模型的标准输入输出,并讲出它对"每帧特征到音素状态概率"的建模方式。
  2. 能手工走完一帧语音:采样、预加重、分帧加窗、FFT、功率谱,并讲出每个步骤的动机。
  3. 能从功率谱推出 MFCC、Fbank,说得出梅尔标度、取对数、DCT 三者的作用,并算得出一帧常见特征的维度。
  4. 能讲清音素、三音素、HMM 状态这三层建模单元之间的关系与取舍。
  5. 能对比 GMM-HMM 与深度声学模型在发射概率建模上的差异,及各自的训练难点。
  6. 能读出声学模型评估指标(如音素错误率、状态准确率)并说明它们与 WER 的区别。

核心概念速览

把声音往模型里喂之前,先得把它变成模型愿意吃的形状。下面这张图是整章的主干:波形分帧、每帧提特征、特征进声学模型、模型输出音素状态的概率。

子章节导航与逻辑关系

整章按"声音越来越多的处理"来排序。2.1 讲声学模型到底要输出什么,第一时间框住目标;2.2 走完一帧的基本生产链(采样、预加重、分帧、加窗、FFT),2.3 把这段产量进一步炼成 MFCC 与 Fbank 特征;2.4 引入建模单元(音素、三音素、状态)这一层"单位",声学模型就是对这些单位打分;2.5 用高斯混合模型配隐马尔可夫模型,把这套打分实现出来;2.6 换成神经网络实现同样的事,并把两者对比;2.7 落到怎么训练(对齐、损失函数、数据);2.8 讲如何给声学模型单独评估。前四节是"造原料",中间两节是"造模型机制",最后两节是"训练与验收"。

本章知识点清单

这一章的每个小节都对应一两条能够被你亲手验证的判断,读完请对照着自测:

  • 2.1:能写出声学模型的一行"输入→输出";能解释为何对状态打分而不是对词打分;能说出特征"区分度与鲁棒性"的两难在哪。
  • 2.2:能算一帧 25 毫秒、帧移 10 毫秒时,一秒语音会切出多少个帧窗;能讲出预加重为何抬高高频;能说清加窗的目的和常见的窗函数。
  • 2.3:能从功率谱出发,用手推出 Fbank 与 MFCC 各差哪两步;能背出常见 39 维 MFCC 的构成;能解释为什么在梅尔域里取对数。
  • 2.4:能画出"词→音素→三音素→HMM 状态"这条链;能说出三音素解决了同音素因上下文而发音不同的问题。
  • 2.5:能讲清 HMM 管时序、GMM 管发射两方面各负责什么;能说出传统方法训练时要靠"期望最大化 + 强制对齐"反复迭代。
  • 2.6:能对比 DNN-HMM 与端到端声学模型在发射概率、是否还需对齐这两点上的差异。
  • 2.7:能说出声学模型训练的三要素(对齐、损失函数、数据)以及数据不匹配如何毁掉效果。
  • 2.8:能区分音素错误率与 WER 各自的诊断价值。

自测时若卡在某一条,回到对应小节把那一处重读,别硬跳过——本章是后续两章的原料保障。

前置知识与后续延伸

前置知识只需第 1 章的流水总图,以及一点信号处理的朴素直觉(知道频率、能量是什么意思即可),不必会积分运算。第 2 章喂饱了声学侧,第 3 章会自动转到语言侧,两套产出在第 4 章解码处汇合。若你只想快速理解"为什么用 MFCC 而不用原始波形",直接看 2.3;若你想知道"为什么还要讲究 HMM",直接看 2.5。这一章的内容密度较高,建议一节一节地啃,别跳着看。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U