Seq2Seq + Attention 是端到端语音识别的"精密武器"——用注意力机制实现软对齐,用自回归解码保证语言流畅性,在离线识别中往往能拿到最高的准确率。
一二三四,理解 Seq2Seq 架构在语音识别中的应用方式;掌握注意力机制的计算流程(对齐分数→Softmax→上下文向量);了解代表性模型 LAS(Listen, Attend and Spell);客观评估 Seq2Seq 的优势与局限。
Seq2Seq(Sequence-to-Sequence)架构最初在机器翻译领域取得突破,其核心思想是:用一个编码器将输入序列编码为内部表示,再用一个解码器从内部表示生成输出序列。
将 Seq2Seq 应用到语音识别是很自然的类比——把"源语言语音"翻译成"目标语言文本"。编码器处理声学特征序列,解码器生成文本序列。关键创新在于注意力机制的引入:它解决了一个根本问题——编码器输出的序列可能很长(数百帧),而单一的固定向量无法承载所有信息。
注意力机制的核心是三步计算:对齐分数→归一化→加权求和。
第一步:计算对齐分数。 在解码时间步 j,用解码器的当前隐藏状态 s_{j-1} 和编码器的每个隐藏状态 h_i 计算一个"相关性分数" e_{ji}。常用的计算方式包括:加性注意力(Bahdanau Attention)e_{ji} = v^T \tanh(W s_{j-1} + U h_i),以及缩放点积注意力 e_{ji} = \frac{s_{j-1}^T h_i}{\sqrt{d}}。
第二步:归一化为权重。 用 Softmax 将对齐分数转换为概率分布:\alpha_{ji} = \frac{\exp(e_{ji})}{\sum_k \exp(e_{jk})}。这些权重表示"在生成第 j 个字符时,模型对每个编码器输出位置的关注程度"。
第三步:加权求和得上下文向量。 c_j = \sum_i \alpha_{ji} h_i。上下文向量 c_j 是编码器输出的"聚焦版本"——它突出了与当前解码步骤最相关的部分,抑制了不相关的部分。
💡 注意力机制的直觉:想象你在听一段很长的录音,要逐字写下听到的内容。每写一个字时,你会"回放"录音中最相关的部分——这就是注意力机制在做的事。注意力权重告诉你"当前这个字对应录音的哪个时间段"。
LAS(Listen, Attend and Spell)是由 Google 团队于 2015 年提出的代表性 Seq2Seq + Attention 语音识别模型。它的名字直观地描述了工作流程:Listen(编码器听语音)、Attend(注意力机制聚焦关键部分)、Spell(解码器逐字拼写)。
Listener(编码器):使用多层双向 LSTM(pBLSTM),每两层做一次降采样(将序列长度减半),大幅减少后续注意力计算的成本。
Speller(解码器):使用 LSTM 解码器,在每个时间步通过注意力机制获取上下文向量,然后预测下一个字符。
关键设计决策:字符级 vs 子词级输出。LAS 最初使用字符级输出(直接输出字母),但后续工作发现使用子词单元(如 BPE、WordPiece)能更好地平衡词汇覆盖率和模型复杂度。
⚠️ LAS 的一个实际挑战是"注意力对齐失败"——尤其在训练初期或数据不足时,注意力权重可能出现"跳跃"(跳过某些语音段)或"停滞"(反复关注同一段),导致识别结果出现漏字或重复。解决方案包括:使用单调注意力(Monotonic Attention)约束、CTC 辅助训练等。
Transformer 架构在语音识别中的应用是 Seq2Seq 模型的自然演进。它用自注意力机制替代了 RNN,带来了两个关键优势:全局依赖建模(任意两个位置直接交互)和并行计算(训练时不需要逐步处理)。
语音 Transformer 的特殊考虑:序列长度问题——语音序列通常比文本长 10-50 倍,直接使用 Transformer 的 O(T^2) 注意力计算量巨大。解决方案包括:编码器前端用 CNN 降采样(4-8 倍),使用相对位置编码,以及分块注意力(只关注局部窗口)。
| 模型 | 编码器 | 解码器 | 注意力 | 特点 |
|---|---|---|---|---|
| LAS | pBLSTM | LSTM | 加性注意力 | 开创性 Seq2Seq ASR |
| Transformer | Transformer | Transformer | 缩放点积 | 并行训练、全局依赖 |
| Conformer | Conformer | Transformer | 混合 | CNN+Transformer 融合 |
| Whisper | Transformer | Transformer | 缩放点积 | 超大规模多语言 |
| 优势 | 局限 |
|---|---|
| 强大的上下文建模 | 自回归解码慢 |
| 内置语言模型能力 | 需要完整输入才能开始 |
| 注意力可视化 | 对齐可能发散 |
| 高准确率(离线) | 不适合流式场景 |
Seq2Seq + Attention 在离线识别中通常能拿到最高的准确率,因为它的解码器自带语言建模能力,且注意力机制提供了强大的上下文建模。但它的主要短板是延迟——必须等整段语音输入完毕才能开始解码,且自回归生成使得解码速度较慢。
💡 如果你的应用场景是离线转写(如会议录音转文字、播客字幕),Seq2Seq + Attention 是首选。如果需要实时流式识别,考虑 CTC 或 Transducer。
⚠️ 实践中,很多系统采用 CTC+Attention 混合训练——训练时两个损失函数加权求和,推理时用 Attention 解码但用 CTC 做辅助对齐。这种方案兼顾了两者的优势。
Seq2Seq 模型训练时几乎必用教师强制(Teacher Forcing):每一步把真实字符作为下一步输入,而不是用模型自己的预测。这样训练稳定、收敛快,但也带来训练与推理不一致的问题——推理时没有真实字符可用,只能用上一步的预测,错误会逐步累积。缓解手段包括计划采样(训练后期按概率改用模型自己的输出)和 CTC 辅助训练。
推理时的另一个细节是长度惩罚。自回归模型天然偏好短句,束搜索如果不加处理,会把候选往短里推。常用做法是对序列概率按长度取对数平均,或者按长度加上一个可调的惩罚项,让长句候选也能参与竞争。Whisper 在推理时默认启用压缩惩罚抑制重复词,也是针对自回归生成的常见问题。
Seq2Seq 加注意力最早在工业界大规模落地的代表是 Google 语音搜索:2015 年 LAS 模型上线后,端到端方案逐渐替换了原来的传统流水线,因为它在同样数据下取得了更低的词错误率,且系统维护成本明显下降。另一个典型是会议转写:离线处理整段录音,Seq2Seq 的自回归能力对长句、口语化表达、中英文混说的建模更好,配合注意力可视化还可以分析"模型在哪句话上听漏了"。
适合选 Seq2Seq 加注意力的场景:离线批量转写、字幕生成、会议纪要和语音翻译,允许等待几百毫秒到几秒。不适合的场景:实时对话、设备端低功耗推理、需要边听边出字的场景。如果拿不准,用"先出完整音频再出字"还是"边说边出字"来判断——前者偏向 Seq2Seq,后者偏向 CTC 或 RNN-T。
| 要点 | 内容 |
|---|---|
| Seq2Seq | 编码器→注意力→解码器 |
| 注意力三步 | 对齐分数→Softmax→加权求和 |
| LAS | Listen-Attend-Spell 的开创性模型 |
| Transformer ASR | 全局依赖 + 并行训练 |
| 核心局限 | 延迟高、不适合流式 |