编码器是端到端模型的"耳朵"——它把原始的声学特征序列压缩、变换为一组富含语义信息的高层表示,供下游的解码器使用。
一二三四,理解编码器的输入输出与核心任务;掌握 RNN/LSTM、CNN、Transformer 三类编码器架构;了解双向编码和降采样技术;建立"编码器是语音理解引擎"的直觉。
编码器的任务是将输入的变长声学特征序列 X = (x_1, x_2, \dots, x_T) 转换为一系列高层的上下文向量 H = (h_1, h_2, \dots, h_{T'})。这里的 T 是声学特征的帧数(通常每秒 100 帧),T' 通常小于 T,因为编码器会通过卷积或池化进行降采样。
编码器的输出可以理解为"语音的语义摘要"——每个向量 h_i 不再只是某一帧的声学特征,而是融合了上下文信息的抽象表示。好的编码器能捕捉音素、音节、甚至词语级别的信息,并将其编码到向量表示中。
⚠️ 编码器和传统 ASR 中的"声学模型"功能类似,但有一个关键区别:传统声学模型输出的是"音素概率",而端到端编码器输出的是"上下文向量"——它不直接做分类,而是把信息传递给解码器去做最终决策。
循环神经网络(RNN)及其变体 LSTM 和 GRU 是早期端到端模型的主力编码器。它们天然适合处理序列数据,能够捕获时间上的依赖关系。
LSTM 的核心机制是三个门控:遗忘门决定丢弃哪些旧信息,输入门决定写入哪些新信息,输出门决定输出哪些信息。这种设计解决了传统 RNN 的梯度消失问题,使其能捕获长距离依赖。
双向编码(Bi-RNN/Bi-LSTM)是语音识别中的标配。语音的当前帧既依赖过去的上下文,也依赖未来的上下文(因为说话人还没说完)。双向编码器同时从前向后和从后向前处理序列,将两个方向的隐藏状态拼接起来,形成更全面的表示。
💡 直觉上,双向 LSTM 就像"同时用两只耳朵听"——左耳听已经说过的,右耳听还没说完的,综合起来理解当前的语音内容。
| 编码器类型 | 上下文窗口 | 并行能力 | 典型应用 |
|---|---|---|---|
| 单向 RNN | 仅过去 | 差(串行) | 流式识别 |
| 双向 RNN | 过去+未来 | 差(串行) | 离线识别 |
| LSTM/GRU | 长距离 | 差(串行) | 早期中端到端 |
| 堆叠 Bi-LSTM | 全局 | 差(串行) | Deep Speech 系列 |
卷积神经网络(CNN)在语音识别中主要承担两个角色:局部特征提取和降采样。
局部特征提取方面,一维或二维卷积核可以在时域和频域上提取局部模式——例如音素的瞬态特征、谐波结构等。多层 CNN 堆叠后能学习到不同抽象程度的特征,从低级声学基元到高级音素模式。
降采样方面,通过步长卷积或池化层,CNN 可以有效缩短特征序列长度,减少后续 RNN 或 Transformer 层的计算负担。例如,4 倍降采样可以将 100 帧/秒的输入压缩到 25 帧/秒,大幅降低后续层的计算量。
⚠️ 纯 CNN 编码器的感受野有限——即使堆叠多层,捕获超长距离依赖的效率也不如 Transformer。因此,现代架构通常将 CNN 作为"前端",配合 Transformer 层做全局建模。
Transformer 编码器是当前最先进的语音识别模型的核心组件。它完全放弃了循环和卷积结构,转而依赖自注意力机制(Self-Attention)来捕获全局依赖。
自注意力机制允许模型在编码每个时间步时,同时"看到"序列中所有其他时间步的信息,并根据相关性分配不同的权重。这使得 Transformer 在处理长序列时远优于 RNN——RNN 需要逐步传递信息(距离越远,信息衰减越严重),而 Transformer 可以一步直达。
多头注意力(Multi-Head Attention)同时运行多个自注意力机制,每个"头"关注不同类型的关系——一个头可能关注声学相似性,另一个头关注时序位置关系。
位置编码(Positional Encoding)是 Transformer 的必要补充——由于自注意力机制本身不感知序列顺序,需要额外注入位置信息。语音识别中常用相对位置编码(如 Transformer-XL 的编码方式),因为语音特征之间的关系往往更多依赖相对时间差而非绝对位置。
| 特性 | RNN/LSTM | CNN | Transformer |
|---|---|---|---|
| 长距离依赖 | 有限(梯度衰减) | 很有限 | 直接(全局注意力) |
| 并行训练 | 不支持(串行) | 支持 | 支持 |
| 局部特征 | 弱 | 强 | 弱(需配合 CNN) |
| 计算复杂度 | O(T) | O(T) | O(T²) |
| 主流应用 | 早期模型 | 前端降采样 | Conformer 等 |
💡 Transformer 的 O(T²) 复杂度是其在语音识别中的一大挑战——语音序列通常很长(数百到数千帧),直接使用 Transformer 的计算量巨大。解决方案包括降采样、分块注意力(chunked attention)以及 Conformer 等混合架构。
实际系统中,编码器通常不是单一类型,而是多种架构的组合。最常见的模式是"CNN 前端 + Transformer 主体":CNN 负责局部特征提取和降采样,Transformer 负责全局上下文建模。
这种组合兼顾了效率和性能:CNN 将序列长度从 T 压缩到 T/4 或 T/8,大幅降低了后续 Transformer 的计算量(O(T²)→O((T/4)²));同时 Transformer 弥补了 CNN 在全局建模上的不足。
⚠️ 编码器的选择需要根据实际场景权衡:离线识别可以用大模型(如 24 层 Conformer),流式识别则需要考虑延迟(如 chunked Conformer 或 LSTM)。第 4 章会详细讨论不同架构的选型。
拿一个常见的 Conformer 编码器配置来看输入输出规模。一段 10 秒的语音,16kHz 采样得到 16 万采样点;按 25 毫秒窗长、10 毫秒步长分帧,得到约 1000 帧;每帧提取 80 维 FBank 特征,编码器输入就是 1000 乘以 80 的矩阵。经过 CNN 前端 4 倍时间降采样,变成 250 帧;再经过 12 层 Conformer 模块,输出仍然是 250 帧、每帧是 256 或 512 维的上下文向量。也就是说,编码器把波形压缩成按时间排列的高维语义向量,帧数少了四倍,信息却更浓缩。
模型内部还有一层隐式降采样:注意力池化或卷积步长会把帧率进一步降低。语音识别里常说"编码器输出帧率"这个概念——比如 40 毫秒一帧输出,对应每秒 25 帧。帧率越低,下游解码器计算量越小,但时间分辨率也越低,所以帧率是精度与速度的权衡点。
工程上可以记几条经验:第一,离线高精度场景默认选 Conformer 或 Transformer 编码器,层数 12 到 18,配合 CNN 前端;第二,流式场景优先考虑 chunked Conformer、因果卷积的 Conformer 或 LSTM 编码器,关键看是否允许看到未来帧;第三,资源受限的边缘设备用轻量 LSTM 或小尺寸 CNN 编码器,参数量控制在千万级以内;第四,训练数据很少时,编码器不宜过深,先用小模型验证数据质量和标注一致性,再逐步加深。这些经验在第 4 章选型部分还会展开。
| 要点 | 内容 |
|---|---|
| 编码器任务 | 声学特征→上下文向量表示 |
| RNN/LSTM | 序列建模、双向编码、串行计算 |
| CNN | 局部特征提取、降采样 |
| Transformer | 全局自注意力、并行计算、O(T²) |
| 典型组合 | CNN 前端 + Transformer 主体 |