Seq2Seq与注意力机制


Seq2Seq与注意力机制

Seq2Seq + Attention 是端到端语音识别的"精密武器"——用注意力机制实现软对齐,用自回归解码保证语言流畅性,在离线识别中往往能拿到最高的准确率。

学习目标

一二三四,理解 Seq2Seq 架构在语音识别中的应用方式;掌握注意力机制的计算流程(对齐分数→Softmax→上下文向量);了解代表性模型 LAS(Listen, Attend and Spell);客观评估 Seq2Seq 的优势与局限。

一、从机器翻译到语音识别

Seq2Seq(Sequence-to-Sequence)架构最初在机器翻译领域取得突破,其核心思想是:用一个编码器将输入序列编码为内部表示,再用一个解码器从内部表示生成输出序列。

将 Seq2Seq 应用到语音识别是很自然的类比——把"源语言语音"翻译成"目标语言文本"。编码器处理声学特征序列,解码器生成文本序列。关键创新在于注意力机制的引入:它解决了一个根本问题——编码器输出的序列可能很长(数百帧),而单一的固定向量无法承载所有信息。

二、注意力机制的计算流程

注意力机制的核心是三步计算:对齐分数→归一化→加权求和。

第一步:计算对齐分数。 在解码时间步 j,用解码器的当前隐藏状态 s_{j-1} 和编码器的每个隐藏状态 h_i 计算一个"相关性分数" e_{ji}。常用的计算方式包括:加性注意力(Bahdanau Attention)e_{ji} = v^T \tanh(W s_{j-1} + U h_i),以及缩放点积注意力 e_{ji} = \frac{s_{j-1}^T h_i}{\sqrt{d}}。

第二步:归一化为权重。 用 Softmax 将对齐分数转换为概率分布:\alpha_{ji} = \frac{\exp(e_{ji})}{\sum_k \exp(e_{jk})}。这些权重表示"在生成第 j 个字符时,模型对每个编码器输出位置的关注程度"。

第三步:加权求和得上下文向量。 c_j = \sum_i \alpha_{ji} h_i。上下文向量 c_j 是编码器输出的"聚焦版本"——它突出了与当前解码步骤最相关的部分,抑制了不相关的部分。

💡 注意力机制的直觉:想象你在听一段很长的录音,要逐字写下听到的内容。每写一个字时,你会"回放"录音中最相关的部分——这就是注意力机制在做的事。注意力权重告诉你"当前这个字对应录音的哪个时间段"。

三、LAS模型:Listen, Attend and Spell

LAS(Listen, Attend and Spell)是由 Google 团队于 2015 年提出的代表性 Seq2Seq + Attention 语音识别模型。它的名字直观地描述了工作流程:Listen(编码器听语音)、Attend(注意力机制聚焦关键部分)、Spell(解码器逐字拼写)。

Listener(编码器):使用多层双向 LSTM(pBLSTM),每两层做一次降采样(将序列长度减半),大幅减少后续注意力计算的成本。

Speller(解码器):使用 LSTM 解码器,在每个时间步通过注意力机制获取上下文向量,然后预测下一个字符。

关键设计决策:字符级 vs 子词级输出。LAS 最初使用字符级输出(直接输出字母),但后续工作发现使用子词单元(如 BPE、WordPiece)能更好地平衡词汇覆盖率和模型复杂度。

⚠️ LAS 的一个实际挑战是"注意力对齐失败"——尤其在训练初期或数据不足时,注意力权重可能出现"跳跃"(跳过某些语音段)或"停滞"(反复关注同一段),导致识别结果出现漏字或重复。解决方案包括:使用单调注意力(Monotonic Attention)约束、CTC 辅助训练等。

四、Transformer ASR

Transformer 架构在语音识别中的应用是 Seq2Seq 模型的自然演进。它用自注意力机制替代了 RNN,带来了两个关键优势:全局依赖建模(任意两个位置直接交互)和并行计算(训练时不需要逐步处理)。

语音 Transformer 的特殊考虑:序列长度问题——语音序列通常比文本长 10-50 倍,直接使用 Transformer 的 O(T^2) 注意力计算量巨大。解决方案包括:编码器前端用 CNN 降采样(4-8 倍),使用相对位置编码,以及分块注意力(只关注局部窗口)。

模型 编码器 解码器 注意力 特点
LAS pBLSTM LSTM 加性注意力 开创性 Seq2Seq ASR
Transformer Transformer Transformer 缩放点积 并行训练、全局依赖
Conformer Conformer Transformer 混合 CNN+Transformer 融合
Whisper Transformer Transformer 缩放点积 超大规模多语言

五、Seq2Seq 的优势与局限

优势 局限
强大的上下文建模 自回归解码慢
内置语言模型能力 需要完整输入才能开始
注意力可视化 对齐可能发散
高准确率(离线) 不适合流式场景

Seq2Seq + Attention 在离线识别中通常能拿到最高的准确率,因为它的解码器自带语言建模能力,且注意力机制提供了强大的上下文建模。但它的主要短板是延迟——必须等整段语音输入完毕才能开始解码,且自回归生成使得解码速度较慢。

💡 如果你的应用场景是离线转写(如会议录音转文字、播客字幕),Seq2Seq + Attention 是首选。如果需要实时流式识别,考虑 CTC 或 Transducer。

⚠️ 实践中,很多系统采用 CTC+Attention 混合训练——训练时两个损失函数加权求和,推理时用 Attention 解码但用 CTC 做辅助对齐。这种方案兼顾了两者的优势。

六、训练与推理中的关键细节

Seq2Seq 模型训练时几乎必用教师强制(Teacher Forcing):每一步把真实字符作为下一步输入,而不是用模型自己的预测。这样训练稳定、收敛快,但也带来训练与推理不一致的问题——推理时没有真实字符可用,只能用上一步的预测,错误会逐步累积。缓解手段包括计划采样(训练后期按概率改用模型自己的输出)和 CTC 辅助训练。

推理时的另一个细节是长度惩罚。自回归模型天然偏好短句,束搜索如果不加处理,会把候选往短里推。常用做法是对序列概率按长度取对数平均,或者按长度加上一个可调的惩罚项,让长句候选也能参与竞争。Whisper 在推理时默认启用压缩惩罚抑制重复词,也是针对自回归生成的常见问题。

七、真实案例:从语音搜索到会议转写

Seq2Seq 加注意力最早在工业界大规模落地的代表是 Google 语音搜索:2015 年 LAS 模型上线后,端到端方案逐渐替换了原来的传统流水线,因为它在同样数据下取得了更低的词错误率,且系统维护成本明显下降。另一个典型是会议转写:离线处理整段录音,Seq2Seq 的自回归能力对长句、口语化表达、中英文混说的建模更好,配合注意力可视化还可以分析"模型在哪句话上听漏了"。

八、Seq2Seq 的选型建议

适合选 Seq2Seq 加注意力的场景:离线批量转写、字幕生成、会议纪要和语音翻译,允许等待几百毫秒到几秒。不适合的场景:实时对话、设备端低功耗推理、需要边听边出字的场景。如果拿不准,用"先出完整音频再出字"还是"边说边出字"来判断——前者偏向 Seq2Seq,后者偏向 CTC 或 RNN-T。

本章要点回顾

要点 内容
Seq2Seq 编码器→注意力→解码器
注意力三步 对齐分数→Softmax→加权求和
LAS Listen-Attend-Spell 的开创性模型
Transformer ASR 全局依赖 + 并行训练
核心局限 延迟高、不适合流式

Seq2Seq注意力机制流程

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U