文档摘要

第一章 注意力机制基础 读者读完这章，能够理解注意力机制的核心数学原理和基本实现方式，掌握从注意力到Self-Attention的演进逻辑。 1.1 注意力机制的数学基础 注意力机制的本质是有选择性地关注信息中最重要的部分。这个概念最早源于人类认知心理学，但在深度学习领域，它通过数学化的方式实现了这一机制。 1.1.1 注意力的核心公式 注意力机制可以用一个简洁而强大的数学公式来表示： 30946 \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{dk}}\right)V 30946 这个公式包含了三个关键矩阵： Query (Q): 查询向量，代表我们想要关注什么 Key (K):

---