2.1 整体Encoder-Decoder结构

文档摘要

2.1 整体Encoder-Decoder结构 2.1 整体Encoder-Decoder结构在深入探讨Transformer模型的各个精妙组件之前，理解其高层级的架构至关重要。Transformer模型，作为在自然语言处理（NLP）领域引发革命的创新者，其核心设计沿袭了经典的Encoder-Decoder（编码器-解码器）框架。然而，与传统的基于循环神经网络（RNN）或长短期记忆网络（LSTM）的Encoder-Decoder模型不同，Transformer完全摒弃了循环和卷积结构，转而纯粹依赖于自注意力（Self-Attention）机制来捕捉输入序列和输出序列中的依赖关系。