从原理到实践,本章逐一拆解四大主流端到端架构——CTC、Seq2Seq+Attention、RNN-T、Conformer——理解它们的设计哲学、技术细节和适用场景。
| 序号 | 标题 | 核心内容 |
|---|---|---|
| 01 | CTC 模型详解 | 空白符、路径折叠、前向-后向算法 |
| 02 | Seq2Seq 与注意力机制 | LAS、注意力计算流程、Transformer ASR |
| 03 | RNN-Transducer 详解 | 三组件架构、二维对齐、流式能力 |
| 04 | Conformer | CNN+Transformer 融合、四子层结构 |
本章按"从简到繁、从旧到新"的顺序排列:CTC 是最早也最简洁的端到端方案,理解它等于理解"如何绕过对齐问题";Seq2Seq 加注意力引入显式解码器,代表"如何学习对齐";RNN-T 结合两者,代表"如何边听边译";Conformer 解决的是编码器本身的能力上限,代表"如何把局部与全局建模都做好"。
四节内容有两条暗线:一条是流式能力——CTC 和 RNN-T 天然流式,Seq2Seq 需要完整输入;另一条是建模能力——CTC 依赖外部语言模型,Seq2Seq 和 RNN-T 自带语言建模。建议读完每一节后回到这张定位图,把自己刚学到的架构放到坐标里对一遍。
经常有人问"CTC、Attention、Transducer 是不是互斥的"。答案是否:它们是损失函数层面的选择,而编码器可以共用。Conformer 编码器既能配 CTC 解码,也能配 RNN-T 或 Transformer 解码器,这四种组合就是前面表格里列的典型配置。所以本章第 4 节与其他三节不在一个维度上——Conformer 解决"怎么把语音编码好",前三节解决"怎么从编码结果里解出文本"。
| 架构 | 流式能力 | 离线准确率 | 训练难度 | 语言建模 |
|---|---|---|---|---|
| CTC | 强 | 中 | 低 | 无(需外部 LM) |
| Seq2Seq | 弱 | 高 | 中 | 内置 |
| RNN-T | 强 | 高 | 高 | 内置 |
| Conformer | 取决于解码器 | 最高 | 中-高 | 取决于解码器 |
💡 本章的关键收获:没有"最好的"架构,只有"最适合的"架构。CTC 简洁高效适合流式,Seq2Seq 离线准确率最高,RNN-T 兼顾流式和准确率,Conformer 是当前编码器设计的天花板。实际选型需要根据场景需求(延迟、准确率、计算资源)做权衡。
⚠️ 工业界越来越多地采用"统一架构"——一个模型同时支持流式和非流式模式(如 Unified Streaming and Non-streaming, USM)。这避免了维护两套模型的复杂性,是未来的重要趋势。