文档摘要

3.5 注意力机制的理论局限性分析 理论基础回顾 注意力机制作为现代深度学习架构的核心组件，取得了巨大的成功。然而，任何技术都有其固有的局限性。深入理解注意力机制的理论边界，不仅有助于正确评估其适用范围，还能指导未来的研究方向。 计算复杂度瓶颈 二次复杂度的根本原因 标准自注意力机制的核心计算——Q和K的矩阵乘法——具有O(N²d)的计算复杂度，其中N是序列长度，d是特征维度。当N远大于d时（这在大多数自然语言处理任务中是常态），有效复杂度约为O(N²)。 这个二次复杂度的来源是每个token都需要与所有其他token计算注意力分数。这种"全局视野"正是注意力机制的优势所在——它允许任意两个token直接交互——但同时也限制了它处理长序列的能力。

---