注意力机制原理

注意力机制让模型聚焦重要信息。

基本概念

核心思想

不是所有信息都重要
动态分配权重
聚焦关键部分
​

直观理解

阅读时：

• 扫描全文
• 关注关键词
• 理解上下文

注意力类型

加性注意力

score = tanh(W1*h + W2*s)
attention = softmax(score)
​

点积注意力

score = h · s
attention = softmax(score)
​

缩放点积

score = (h · s) / √d
attention = softmax(score)
​

避免softmax饱和。

自注意力

计算过程

1. 线性变换得到Q, K, V
2. 计算注意力分数
3. Softmax归一化
4. 加权求和
​

矩阵形式

Attention(Q, K, V) = softmax(QK^T / √d)V
​

位置感知

同一序列内部计算注意力。

多头注意力

动机

不同头关注不同方面
位置关系
语法结构
语义关联
​

实现

每个头独立计算
最后拼接结果
线性变换输出
​

实际应用

机器翻译

源语言词 -> 目标语言词的注意力
​

图像描述

图像区域 -> 单词的注意力
​

阅读理解

文章段落 -> 问题的注意力
​

优势

1. 并行计算：高效处理
2. 长距离依赖：捕捉全局关系
3. 可解释性：可视化注意力
4. 灵活通用：适用于各种任务

注意力机制是现代深度学习的核心技术。