2.2 Encoder模块详解

文档摘要

2.2 Encoder模块详解 2.2 Encoder模块详解在Transformer模型的宏大架构下，Encoder模块扮演着至关重要的角色，它负责将输入的序列（例如一个句子中的词语序列）转换成一系列连续的、包含丰富上下文信息的向量表示。这些表示随后被传递给Decoder模块，用于生成目标序列。本章节将深入剖析Encoder的内部构造及其工作原理。 2.2.1 编码器的整体结构 Transformer的Encoder并非单一的组件，而是由一个输入处理层和堆叠的N个完全相同的编码器层（Encoder Layer）组成。其处理流程如下：输入序列：原始的离散 token 序列（如词语 ID）。输入嵌入 (Input Embedding)：将每个 token 转换为一个固定维度的向量表示。