Transformer 从零搭，注意力到底在注意什么

01一个反共识：注意力不是"关注"，是加权

"注意力机制"这名字误导了很多人，以为模型在"关注"某些词。其实它做的是一件很数学的事：给当前词，对句子里每个词算一个权重，加权求和。

Q（查询）、K（键）、V（值）都是输入变换出来的矩阵。QK^T 算"当前词和每个词有多相关"，softmax 归一化成权重，乘 V 加权求和。一句话：当前词 = 句子里所有词的加权平均，权重由相关性决定。这就是"注意力"的全部。

02注意力热力图：点词看它在注意谁

下面是一句话"猫 追 老鼠 因为 它 饿"。点任意词，看它在注意谁（颜色越深权重越高）。重点看"它"在注意谁——这就是代词消解。

038 步从零搭 Transformer

把注意力装进完整 Transformer，就这 8 步：

1. token 化：句子切成词，每个词查表得一个向量（embedding）。
2. 位置编码：注意力本身没有顺序，加上位置信息让它知道词的先后。
3. 算 Q/K/V：embedding 乘三个权重矩阵，得查询、键、值。
4. 算注意力：QK^T/√d → softmax → 乘 V，得到加权后的表示。
5. 多头：并行做多个注意力，每个头看不同关系，拼起来。
6. 残差 + LayerNorm：加上输入、归一化，防梯度消失/爆炸。
7. 前馈层：每个位置过一个 MLP，做非线性变换。
8. 堆叠 N 层：上面 6 步是一层，堆 N 层（如 12、24）就是 Transformer。

没有黑魔法，每一步都是矩阵乘法 + 归一化。从零搭一遍（ai-engineering-from-scratch §8 给了完整代码），你就知道那些"涌现能力"其实是从这个简单结构 + 海量数据里出来的。

04带走这套清单