解码器:从特征到文本序列


解码器:从特征到文本序列

解码器是端到端模型的"嘴巴"——它接收编码器提取的语义表示,逐步生成人类可读的文本序列。不同的解码策略决定了模型是"边听边说"还是"听完再说"。

学习目标

一二三四,理解解码器的输入输出与核心任务;掌握自回归解码的工作流程;了解注意力机制在解码中的关键作用;区分 Transformer 解码器与 RNN 解码器。

一、解码器的角色与任务

解码器的任务是根据编码器输出的上下文表示 H,逐步生成目标文本序列 Y = (y_1, y_2, \dots, y_L)。如果说编码器是"理解"语音,那么解码器就是"说出"理解的内容。

解码器的输入包括两部分:编码器的输出(提供语音的语义信息)和已生成的文本前缀(提供语言上下文)。在每个时间步,解码器综合这两部分信息,预测下一个字符(或子词)的概率分布。

⚠️ 并非所有端到端模型都有显式的解码器。CTC 模型直接从编码器输出预测字符,没有解码器环节——这是 CTC 简洁性的来源,也是它无法建模字符间依赖的原因。

二、自回归解码的工作流程

最常见的解码方式是自回归(Autoregressive)解码——每次生成一个字符,然后将这个字符作为下一步的输入,循环往复直到生成结束符。

具体流程为:第一步,解码器接收起始符 <SOS> 和编码器输出,预测第一个字符 y_1;第二步,解码器接收 y_1 和编码器输出,预测 y_2;以此类推,直到预测出结束符 <EOS>。

这种方式的优点是生成过程自然、语言流畅性好(因为每一步都能参考之前生成的内容)。缺点是速度慢——必须逐步生成,无法并行。对于一句 10 秒的语音(可能对应 30-50 个字符),解码器需要执行 30-50 步。

解码方式 并行性 语言建模 典型模型
自回归 不支持 强(利用已生成上下文) LAS, Transformer
非自回归 支持 弱(需额外机制) Paraformer, CIF
CTC 解码 帧级并行 无(条件独立假设) CTC 模型

💡 自回归解码就像"写作文"——一个字一个字地写,每写一个字都参考前面写过的内容。虽然慢,但写出来的文章连贯性好。

三、注意力机制:解码器的"聚光灯"

纯 RNN 解码器在处理长序列时面临一个根本问题:它需要用一个固定长度的隐藏状态来"记住"编码器的全部输出。当输入语音很长时,这个"记忆瓶颈"会导致信息丢失。

注意力机制(Attention Mechanism)是解决这个问题的关键。它允许解码器在生成每个字符时,动态地"聚焦"到编码器输出的不同部分——而不是试图把所有信息都塞进一个固定向量。

具体过程为:在解码时间步 j,解码器计算一个注意力权重分布 \alpha_{ji},表示它对编码器每个隐藏状态 h_i 的关注程度。然后,用这些权重对编码器输出做加权求和,得到一个上下文向量 c_j = \sum_i \alpha_{ji} h_i。这个上下文向量包含了"当前最需要的语音信息"。

注意力机制带来了三大好处:其一,解决了信息瓶颈——解码器不再需要把所有信息压缩到一个向量中;其二,实现了"软对齐"——注意力权重自动学习语音和文本的对应关系,无需人工标注;其三,提供了可解释性——注意力权重可以可视化,直观展示生成每个字符时模型"在看"语音的哪个部分。

⚠️ 注意力机制的对齐并不总是完美的。在训练数据不足或语音质量差时,注意力可能出现"漂移"(跳过某些部分)或"重复"(反复关注同一部分),导致识别错误。

四、RNN 解码器与 Transformer 解码器

RNN 解码器是最经典的方案。它用 LSTM 或 GRU 作为核心,在每个时间步接收上一步的隐藏状态、上一步生成的字符、以及注意力机制提供的上下文向量,然后预测下一个字符。RNN 解码器的优势在于成熟稳定,与各种编码器兼容性好。

Transformer 解码器引入了两个关键创新:掩码自注意力(Masked Self-Attention)和编码器-解码器注意力(Encoder-Decoder Attention)。掩码自注意力确保解码器在生成第 j 个字符时只能看到前 j-1 个字符(不能"偷看"未来),通过注意力矩阵的上三角掩码实现。编码器-解码器注意力则类似于 RNN 解码器中的注意力机制,让解码器能够访问编码器的输出。

特性 RNN 解码器 Transformer 解码器
核心结构 LSTM/GRU 掩码自注意力 + 交叉注意力
长距离依赖 有限(受 LSTM 记忆限制) 强(直接关注任意位置)
训练效率 串行 可并行(训练时)
推理效率 串行 串行(但可优化)
主流应用 LAS, Deep Speech Whisper, Transformer ASR

💡 Transformer 解码器在训练时可以并行处理整个目标序列(因为掩码自注意力一次计算所有位置),但推理时仍然是自回归的——这是"训练快、推理慢"的典型模式。

五、解码策略:贪心与束搜索

解码器在每个时间步输出的是一个概率分布——词表中每个字符的概率。如何从这个概率分布中选择最终的输出字符?

贪心解码(Greedy Decoding)最简单:每步选概率最高的字符。速度快,但容易陷入局部最优——某一步的"最佳选择"可能导致后续步骤的整体概率更低。

束搜索(Beam Search)更常用:每步保留 Top-K 个候选路径(K 称为束宽),在下一步对每个候选进行扩展,再从中选择新的 Top-K。最终选择整体概率最高的路径。束搜索在精度和速度之间取得了更好的平衡,K 通常取 5-10。

策略 精度 速度 实现复杂度
贪心 较低 最快 简单
束搜索 K=5 较高 中等 中等
束搜索 K=20 更高 较慢 中等

⚠️ 束搜索通常还会结合外部语言模型做"重打分"(rescoring)——用独立的语言模型对候选路径重新评分,以纠正解码器可能产生的语言不通顺的结果。

本章要点回顾

要点 内容
解码器任务 上下文表示→文本序列
自回归解码 逐步生成,利用已生成上下文
注意力机制 动态聚焦编码器输出,实现软对齐
Transformer 解码器 掩码自注意力 + 交叉注意力
解码策略 贪心(快但粗糙)vs 束搜索(慢但精确)

解码器工作流程

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U