编码器:从语音到特征表示


编码器:从语音到特征表示

编码器是端到端模型的"耳朵"——它把原始的声学特征序列压缩、变换为一组富含语义信息的高层表示,供下游的解码器使用。

学习目标

一二三四,理解编码器的输入输出与核心任务;掌握 RNN/LSTM、CNN、Transformer 三类编码器架构;了解双向编码和降采样技术;建立"编码器是语音理解引擎"的直觉。

一、编码器的角色与任务

编码器的任务是将输入的变长声学特征序列 X = (x_1, x_2, \dots, x_T) 转换为一系列高层的上下文向量 H = (h_1, h_2, \dots, h_{T'})。这里的 T 是声学特征的帧数(通常每秒 100 帧),T' 通常小于 T,因为编码器会通过卷积或池化进行降采样。

编码器的输出可以理解为"语音的语义摘要"——每个向量 h_i 不再只是某一帧的声学特征,而是融合了上下文信息的抽象表示。好的编码器能捕捉音素、音节、甚至词语级别的信息,并将其编码到向量表示中。

⚠️ 编码器和传统 ASR 中的"声学模型"功能类似,但有一个关键区别:传统声学模型输出的是"音素概率",而端到端编码器输出的是"上下文向量"——它不直接做分类,而是把信息传递给解码器去做最终决策。

二、RNN/LSTM 编码器

循环神经网络(RNN)及其变体 LSTM 和 GRU 是早期端到端模型的主力编码器。它们天然适合处理序列数据,能够捕获时间上的依赖关系。

LSTM 的核心机制是三个门控:遗忘门决定丢弃哪些旧信息,输入门决定写入哪些新信息,输出门决定输出哪些信息。这种设计解决了传统 RNN 的梯度消失问题,使其能捕获长距离依赖。

双向编码(Bi-RNN/Bi-LSTM)是语音识别中的标配。语音的当前帧既依赖过去的上下文,也依赖未来的上下文(因为说话人还没说完)。双向编码器同时从前向后和从后向前处理序列,将两个方向的隐藏状态拼接起来,形成更全面的表示。

💡 直觉上,双向 LSTM 就像"同时用两只耳朵听"——左耳听已经说过的,右耳听还没说完的,综合起来理解当前的语音内容。

编码器类型 上下文窗口 并行能力 典型应用
单向 RNN 仅过去 差(串行) 流式识别
双向 RNN 过去+未来 差(串行) 离线识别
LSTM/GRU 长距离 差(串行) 早期中端到端
堆叠 Bi-LSTM 全局 差(串行) Deep Speech 系列

三、CNN 编码器

卷积神经网络(CNN)在语音识别中主要承担两个角色:局部特征提取和降采样。

局部特征提取方面,一维或二维卷积核可以在时域和频域上提取局部模式——例如音素的瞬态特征、谐波结构等。多层 CNN 堆叠后能学习到不同抽象程度的特征,从低级声学基元到高级音素模式。

降采样方面,通过步长卷积或池化层,CNN 可以有效缩短特征序列长度,减少后续 RNN 或 Transformer 层的计算负担。例如,4 倍降采样可以将 100 帧/秒的输入压缩到 25 帧/秒,大幅降低后续层的计算量。

⚠️ 纯 CNN 编码器的感受野有限——即使堆叠多层,捕获超长距离依赖的效率也不如 Transformer。因此,现代架构通常将 CNN 作为"前端",配合 Transformer 层做全局建模。

四、Transformer 编码器

Transformer 编码器是当前最先进的语音识别模型的核心组件。它完全放弃了循环和卷积结构,转而依赖自注意力机制(Self-Attention)来捕获全局依赖。

自注意力机制允许模型在编码每个时间步时,同时"看到"序列中所有其他时间步的信息,并根据相关性分配不同的权重。这使得 Transformer 在处理长序列时远优于 RNN——RNN 需要逐步传递信息(距离越远,信息衰减越严重),而 Transformer 可以一步直达。

多头注意力(Multi-Head Attention)同时运行多个自注意力机制,每个"头"关注不同类型的关系——一个头可能关注声学相似性,另一个头关注时序位置关系。

位置编码(Positional Encoding)是 Transformer 的必要补充——由于自注意力机制本身不感知序列顺序,需要额外注入位置信息。语音识别中常用相对位置编码(如 Transformer-XL 的编码方式),因为语音特征之间的关系往往更多依赖相对时间差而非绝对位置。

特性 RNN/LSTM CNN Transformer
长距离依赖 有限(梯度衰减) 很有限 直接(全局注意力)
并行训练 不支持(串行) 支持 支持
局部特征 弱 强 弱(需配合 CNN)
计算复杂度 O(T) O(T) O(T²)
主流应用 早期模型 前端降采样 Conformer 等

💡 Transformer 的 O(T²) 复杂度是其在语音识别中的一大挑战——语音序列通常很长(数百到数千帧),直接使用 Transformer 的计算量巨大。解决方案包括降采样、分块注意力(chunked attention)以及 Conformer 等混合架构。

五、编码器的协同:典型组合

实际系统中,编码器通常不是单一类型,而是多种架构的组合。最常见的模式是"CNN 前端 + Transformer 主体":CNN 负责局部特征提取和降采样,Transformer 负责全局上下文建模。

这种组合兼顾了效率和性能:CNN 将序列长度从 T 压缩到 T/4 或 T/8,大幅降低了后续 Transformer 的计算量(O(T²)→O((T/4)²));同时 Transformer 弥补了 CNN 在全局建模上的不足。

⚠️ 编码器的选择需要根据实际场景权衡:离线识别可以用大模型(如 24 层 Conformer),流式识别则需要考虑延迟(如 chunked Conformer 或 LSTM)。第 4 章会详细讨论不同架构的选型。

六、具体配置实例:一段语音在编码器里怎么变形

拿一个常见的 Conformer 编码器配置来看输入输出规模。一段 10 秒的语音,16kHz 采样得到 16 万采样点;按 25 毫秒窗长、10 毫秒步长分帧,得到约 1000 帧;每帧提取 80 维 FBank 特征,编码器输入就是 1000 乘以 80 的矩阵。经过 CNN 前端 4 倍时间降采样,变成 250 帧;再经过 12 层 Conformer 模块,输出仍然是 250 帧、每帧是 256 或 512 维的上下文向量。也就是说,编码器把波形压缩成按时间排列的高维语义向量,帧数少了四倍,信息却更浓缩。

模型内部还有一层隐式降采样:注意力池化或卷积步长会把帧率进一步降低。语音识别里常说"编码器输出帧率"这个概念——比如 40 毫秒一帧输出,对应每秒 25 帧。帧率越低,下游解码器计算量越小,但时间分辨率也越低,所以帧率是精度与速度的权衡点。

七、编码器选型的工程直觉

工程上可以记几条经验:第一,离线高精度场景默认选 Conformer 或 Transformer 编码器,层数 12 到 18,配合 CNN 前端;第二,流式场景优先考虑 chunked Conformer、因果卷积的 Conformer 或 LSTM 编码器,关键看是否允许看到未来帧;第三,资源受限的边缘设备用轻量 LSTM 或小尺寸 CNN 编码器,参数量控制在千万级以内;第四,训练数据很少时,编码器不宜过深,先用小模型验证数据质量和标注一致性,再逐步加深。这些经验在第 4 章选型部分还会展开。

本章要点回顾

要点 内容
编码器任务 声学特征→上下文向量表示
RNN/LSTM 序列建模、双向编码、串行计算
CNN 局部特征提取、降采样
Transformer 全局自注意力、并行计算、O(T²)
典型组合 CNN 前端 + Transformer 主体

编码器架构演进

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U