传统ASR架构回顾


传统ASR架构回顾

拆解传统语音识别系统的四大核心模块——声学模型、发音词典、语言模型和解码器,理解每个模块"做什么"以及"怎么做"。

学习目标

一二三四,理解传统 ASR 的模块化设计思路;掌握 HMM-GMM 声学模型的基本原理;了解发音词典和语言模型的角色;建立对解码搜索过程的直觉。

一、语音前端:从波形到特征

原始语音波形是一维的时间信号,直接使用效率极低。在进入核心模型之前,需要经过一系列预处理步骤提取出紧凑且有判别力的特征向量。

经典流程为:采样与量化→预加重→分帧与加窗→傅里叶变换(FFT)→梅尔滤波器组→对数运算→离散余弦变换(DCT)→得到 MFCC 特征。梅尔频率倒谱系数(MFCC)模拟人耳对频率的非线性感知——人耳对低频更敏感,梅尔刻度正是对这种感知特性的数学近似。

另一种常用特征是滤波器组能量(FBank),它跳过 DCT 步骤,保留了更多的原始频谱信息。近年来,一些端到端模型甚至直接从原始波形学习特征,不再依赖手工设计的特征提取。

⚠️ 特征提取是传统 ASR 中最依赖"手工设计"的环节。不同任务可能需要不同的特征参数(如帧长、滤波器数量),这增加了系统的调参负担。端到端模型的一大优势就是可以自动学习最优特征。

二、声学模型:从特征到音素

声学模型(Acoustic Model, AM)是传统 ASR 的核心,其任务是建立语音特征与音素之间的映射关系。音素是区分词义的最小语音单位,例如英语中 "cat" 和 "bat" 的区别就在于首个音素 /k/ 与 /b/ 的不同。

HMM-GMM 架构是经典方案。隐马尔可夫模型(HMM)建模语音的时序特性——语音信号随时间变化,HMM 的隐状态对应音素的不同阶段(起始、中间、结束),可观测状态是特征向量。高斯混合模型(GMM)则对每个 HMM 状态下的特征分布进行建模——用多个高斯分布的加权和来描述复杂的特征空间。

随着深度学习发展,GMM 逐渐被深度神经网络(DNN)取代,形成 HMM-DNN 混合模型。DNN 能学习更抽象的特征表示,显著提升了声学建模能力。常见变体包括前馈网络(FNN)、循环网络(RNN/LSTM/GRU)和卷积网络(CNN)。

声学模型 核心方法 优势 局限
HMM-GMM 高斯混合建模特征分布 理论清晰、可解释 建模能力有限
HMM-DNN 深度网络替代 GMM 更强的特征学习 仍需 HMM 对齐
HMM-LSTM 循环网络建模时序 捕获长距离依赖 训练慢、梯度问题

💡 可以把声学模型想象成一个"翻译官"——它把声学特征翻译成"这帧语音最可能是哪个音素"。但这个翻译官并不完美,它的错误会传递给下游模块。

三、发音词典与语言模型

发音词典(Pronunciation Dictionary / Lexicon)是声学模型和语言模型之间的桥梁。它存储了系统中所有可识别词汇的发音,将词语映射到音素序列。例如"hello"→/h/ /ə/ /l/ /oʊ/。发音词典的构建依赖语言学知识和专家经验,其准确性和覆盖率直接影响识别性能——如果一个词不在词典中,系统根本无法识别它(即 OOV 问题)。

语言模型(Language Model, LM)负责对词语序列建模,评估一个词序列出现的概率。传统方案以 N-gram 为主:

P(w_1, ..., w_n) \approx \prod_{i=1}^{n} P(w_i | w_{i-N+1}, ..., w_{i-1})

N-gram 用马尔可夫假设简化了计算——一个词的出现只依赖前 N-1 个词。训练需要大规模文本语料,配合平滑技术(如 Kneser-Ney 平滑)解决数据稀疏问题。

⚠️ 发音词典和语言模型是传统系统中最"脆弱"的两个环节——新词、专有名词、口音变体都会导致性能下降。端到端模型通过直接学习"语音→文字"映射,基本消除了对这两者的依赖。

四、解码器:搜索最优路径

解码器是传统 ASR 的"总指挥",它将声学模型、发音词典和语言模型的信息整合起来,在巨大的搜索空间中找到最匹配的词语序列。

解码过程需要综合三类得分:声学得分(特征与音素的匹配程度)、发音得分(音素到词的映射)、语言模型得分(词序列的流畅性)。搜索算法通常采用动态规划,如 Viterbi 算法或 A* 搜索,在可接受的时间内找到近似最优解。

搜索算法 策略 优势 局限
Viterbi 动态规划求最优路径 保证全局最优 搜索空间大时开销高
A* 搜索 启发式搜索 效率高 需要好的启发函数
束搜索 保留 Top-K 候选 平衡精度与速度 K 的选择影响结果

💡 想象解码器在一个巨大的迷宫里找路——声学模型告诉你"这扇门大概率能走",语言模型告诉你"这条路通常通往终点",发音词典则是"门上的标签"。解码器要把这些信息综合起来,找到最佳路径。

五、传统架构的内在矛盾

回顾整个流水线,我们可以看到一个根本矛盾:每个模块都在独立优化自己的指标,但最终的识别准确率取决于所有模块的协同效果。声学模型优化音素分类准确率,语言模型优化词序列概率,但它们的"最优"组合往往不是全局最优。

这种模块化设计还带来工程上的复杂性——接口设计、数据格式转换、系统调试都需要大量人力。更关键的是,误差在模块间逐级传递和放大,一个环节的小错误可能导致最终结果的大偏差。

正是这些内在矛盾,催生了端到端方法的诞生。下一章我们来看传统架构的局限性具体表现在哪些方面。

六、WFST 解码:把三张表合成一张图

前面说解码器要综合三类得分,传统系统里最常见的实现是加权有限状态转换器(WFST)。工程上会把发音词典、语言模型和上下文相关的音素模型分别表示成状态图,再用组合运算把它们合并成一张大的搜索图,解码时只需要在这张图上做一次动态规划搜索。

这种做法的优点是把多源信息统一成一个数学对象,搜索效率高,也是 Kaldi 等传统工具包的核心设计。缺点同样明显:组合后的图往往非常庞大,编译一次耗时以小时计;任何一个组件更新(比如加一个词到词典),整张图都要重新编译。这也是传统系统"改一点动全身"的典型写照。

七、一个具体的传统系统长什么样

以 2010 年前后的典型电话语音识别系统为例:16kHz 采样,25 毫秒一帧、10 毫秒滑动,每帧提取 13 维 MFCC 加上一阶二阶差分共 39 维特征;声学模型是三音素 HMM-GMM,大约几万个绑定状态;发音词典覆盖几万到几十万个词条;语言模型是 3-gram,训练语料几亿词;解码用 WFST 加上束搜索。整个系统从数据准备到上线,通常需要数月,涉及数据、特征、模型、词典、语言模型、解码多支团队协作。

这个"具体"的复杂度,正是后续章节里端到端模型要消解的对象——后面的章节会把这里的每个模块再拿出来对比。

本章要点回顾

要点 内容
特征提取 MFCC/FBank,手工设计,端到端可自动学习
声学模型 HMM-GMM→HMM-DNN,建模特征到音素的映射
发音词典 词→音素映射,OOV 问题是硬伤
语言模型 N-gram 为主,受限于短距离上下文
解码器 综合三类得分,动态规划搜索
根本矛盾 局部最优≠全局最优,误差逐级累积

传统ASR架构四大模块

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U