文档摘要

2.4 位置编码与相对注意力 位置信息的必要性 注意力机制本身是排列不变的（permutation invariant），这意味着交换输入序列中任意两个元素的位置，注意力输出的结果也会相应地交换位置，但注意力权重矩阵本身不会改变。这一特性使得纯注意力模型无法区分"今天天气很好"和"天气今天很好"这两个句子的区别。 位置编码的存在就是为了打破这种排列不变性，让注意力模型能够感知输入序列中各元素的相对或绝对位置信息。位置编码的设计和与注意力的交互方式，直接决定了模型的序列建模能力。 绝对位置编码 正弦余弦位置编码 Transformer原始论文提出了经典的正弦余弦位置编码。

---