4.3 注意力与Transformer

4.3 注意力与 Transformer

本节摘要：注意力让解码器在每一步回头看全部编码状态，拆掉 Seq2Seq 固定向量瓶颈。Transformer 连循环和卷积都去掉，用多头自注意力加位置编码捕捉依赖，训练可并行。对照 RNN/TCN：长距离一步对齐是优势；参数量、数据需求、长度平方复杂度是代价。Informer、Autoformer、FEDformer、TFT 是这条轴上的效率与可解释补丁，不是另一套世界观。

本节目标

阅读完本节，你应当能够：

1. 用查询、键、值说明注意力权重如何指向“对当前预测更重要的历史步”
2. 指出位置编码为何必需：自注意力本身没有顺序
3. 对照遮蔽自注意力与编解码交叉注意力在预报里的角色
4. 在数据量、序列长度、解释需求上判断 Transformer 是否该进对照表

一、固定向量装不下长历史

SOURCE 把注意力的动机写得很具体：编解码器把整段输入压成固定上下文，长序列时信息丢失。注意力让解码器生成每个输出时回顾编码器所有隐藏状态，按当前解码状态算一组权重。权重大的时间步，对当前预测更重要——对应“哪几天的负荷形态最像今晚”。

查询来自当前要生成的那一步，键和值来自历史。相似度得到权重，权重对值加权求和，得到这一步的上下文。和 RNN 状态不同，这里没有强制压缩成“一个永远那么长的摘要”，历史每一步都还在，只是被动态地看重或看轻。计算上，窗口长度 L 时，注意力大约随 L 平方涨。这是拆瓶颈的账单。

变电站若窗口 96，平方还不大。窗口拉到数千，平方开始咬显存。这正是后来稀疏注意力出现的原因，不是因为自注意力“过时”。

权重 ~ 相似度(查询当前步, 键历史步)
上下文 = 权重加权后的值
每一步都可以直接对准任意历史步
不必沿时间连乘传递
​

二、Transformer：并行对齐，顺序靠位置编码补

SOURCE 写 Transformer 完全依赖多头自注意力，放弃循环和卷积，并行强，长距离表现好；缺点是参数量大、要数据、要算力。多头是几组不同的查询键值投影，让一组去对齐日季节、另一组去对齐冲击事件，总比单头什么都挤在一套相似度里干净。

没有循环，顺序不在计算图里。位置编码把“第几步”加进嵌入，模型才知道谁先谁后。预报解码端要用遮蔽：不能让第 t 步的自注意力看见 t 之后的位置，否则又是泄漏。编码器端看完整输入窗口是合法的，因为输入窗口本就全是过去。

残差和层归一在 SOURCE 的结构图里反复出现，是让深层可训的标配。前馈网络在注意力之后做逐位置非线性。整体像“对齐 + 逐点 MLP”的堆叠，而不是逐步细胞。

和 TCN 对照：TCN 感受野要设计，注意力在窗口内默认全看见。和 LSTM 对照：LSTM 参数少、小样本往往更稳；Transformer 在长窗口、多协变量、要看“到底盯着哪段历史”时更值得。TFT 把注意力、门控、变量选择绑在一起，SOURCE 强调它能处理多变量非线性并提供可解释性——当你既要深度又要能回答“模型在看天气还是在看滞后负荷”时，它比原版翻译用 Transformer 更贴预测。

图 逐步记忆 vs 一步对齐

三、变体是效率轴，不是新宗教

Informer、Autoformer、FEDformer 被 SOURCE 点名为：针对 Transformer 长序列的效率与准确性，稀疏注意力、分解、频域。当你的窗口已经长到注意力矩阵放不进显存，再考虑它们。窗口只有几百，上这些变体多半是把简单问题做成论文复现。TFT 更常作为“多变量预测产品”的对照，而不是“最新 SOTA”崇拜。

位置编码有绝对位置和相对位置。序列会滑动、会变长时，相对位置往往更稳。这一条不需要背公式，对照一次即可。

⚠️ 常见坑：解码端忘记遮蔽，训练损失很低，因为模型在抄未来。时间序列上这比机器翻译更隐蔽，因为数值抄起来不像单词那么明显。
💡 关键直觉：注意力买的是一步对齐和可画的权重；付的是数据、显存和泄漏面。小样本先 LSTM/TCN，对齐需求明确再上。

公交到站若事件少、间隔不规则，注意力可以按“真实事件步”对齐，不必先插到网格。这是相对卷积的一个具体赢面。但事件极少时，注意力权重不稳定，简单的间隔特征加 GRU 可能更老实。

四、什么时候注意力图可以进汇报，什么时候只是装饰

窗口内一步对齐，适合回答“高温日模型在看哪几天的形态”。预先指定案例类型：普通日、高温日、节日、故障日，无论权重散不散都展示。只挑一张对齐在春节的图，是广告。消融掉被高亮的那段历史或那个通道，误差若几乎不变，图就是装饰。

位置编码在滑动窗口任务里，绝对位置会把“窗口里的第 3 步”当成绝对时刻 3，窗口一滑语义错乱。相对位置或“距离窗口右端多远”更贴预报。这一条对照一次就能定，不必每年复现论文。解码遮蔽用上三角掩码，单测：泄漏未来点应得不到权重。单测不过，不要看验证 RMSE。

小样本上多头很容易过参。头数从 2 扫到 4，不要从 16 起。数据少时，SOURCE 也承认参数量和数据需求是缺点。Informer 等稀疏变体在窗口只有几百时，多出来的稀疏超参通常不值。TFT 在通道多且要讲“看了天气还是看了负荷”时才进对照表，通道两三个时过重。

平方复杂度的痛点在训练显存，不一定在精度。显存够、数据少，Transformer 仍可能输给 GRU。把显存报警当成上稀疏变体的理由，把数据少当成不上注意力的理由，两句话分开写，避免混成“Transformer 不适合时间序列”这种空话。

五、数据少与窗口长是两件相反的事

数据少是不上注意力的理由；窗口长到显存报警才是上稀疏变体的理由。两句分开写，避免空话“Transformer 不适合时间序列”。小样本头数从 2 到 4，不要从 16 起。滑动窗口用相对位置或距右端距离，绝对位置会把窗口内第 3 步当成绝对时刻 3。解码遮蔽单测不过，不许看验证 RMSE。案例图预注册类型，消融不变则图是装饰。TFT 在通道多且要讲看了什么时才进表。平方痛点在显存，显存够而数据少，仍可能输给 GRU。

六、拆瓶颈与买平方是同一笔交易

固定上下文装不下长历史，注意力每步回头看全部编码状态。窗口 96 平方还不大，数千开始咬显存，再考虑稀疏变体。短窗口上稀疏超参是把简单问题做成论文复现。位置编码在滑动任务用相对位置。多头把不同对齐拆开，小样本头数要小。TFT 提供变量选择，通道少时过重。SOURCE 写参数量大、要数据要算力，这句话应贴在选型墙上。

解码未遮蔽比机器翻译更隐蔽，因为数值抄起来不像单词明显。单测未来点不应得到权重。案例图预注册，消融不变则装饰。注意力不是因果。小样本默认门控或 TCN，对齐需求明确再上。不要用年份更新当选族理由。

问题：注意力图能不能当给调度的解释？

只能当“看了什么”的线索，不能当因果。高温日权重落在去年高温段，消融那段若误差不变，图是装饰。预注册普通、高温、节日、故障四类日，不论散不散都展示。变量选择比逐步权重更好讲通道级故事，那是 TFT 的舞台，通道两三个时过重。数据少不上，窗口长到显存报警才稀疏化。相对位置适合滑动窗。解码遮蔽单测是上线前合法检查，比看 RMSE 先。平方是拆瓶颈的账单。小样本头数从 2 到 4。不要用结构年份替代这几句判断。

注意力对照先分两件相反的事：数据少是少上的理由，窗口长到显存报警才是稀疏化的理由。混成一句“不适合时间序列”会误导。小样本头数从二到四。滑动窗口用相对位置。解码遮蔽单测未来点不应得到权重，单测不过不许看误差。案例图预注册四类日，消融高亮段误差不变则图是装饰，不能进给调度的汇报。通道很多且要讲看了天气还是看了负荷时，带变量选择的结构才有舞台；通道两三个时过重。平方是拆固定向量瓶颈的账单，短窗口不必提前付。编解码注意力适合已经在用序列到序列的人；原版翻译结构不一定贴预报。年份更新不能当选族理由。骨干仍可接分位头，形态轴与族轴继续正交。

把注意力上岗证写成：相对位置、解码遮蔽单测、头数与样本量匹配、案例图预注册、消融仍有增益。五件缺一不得用热力图对外解释。数据少与窗口长是相反理由，写在同一张卡片左右两栏，避免合成空话。稀疏变体只在显存报警后进入候选。变量选择只在通道多且杂时进入候选。骨干接分位头合法，说明形态轴仍正交。上岗证通过后若仍输给门控或卷积，采用更简单的族，不要用年份加码。单测未来点得到权重，整场对照作废，比误差数字更优先。把卡片打印在模型卡背面，评审只问五件，不问是否最新结构。这是本章相对循环、卷积两节的对应物，三族各有上岗证，互不替代。

小样本上注意力即使验证略好，也要问增益是否来自多看了几天节日。消融掉节日通道后若优势消失，赢的是日历不是对齐。港口年序列点少时，这句话常常把注意力从默认位置请走，门控或卷积留下。

重点提炼

• 注意力拆的是固定上下文瓶颈，每步动态看历史
• 查询键值 + 加权求和，权重大表示该历史步更相关
• Transformer 无循环，顺序靠位置编码；解码必须遮蔽
• 多头把不同对齐模式拆开；TFT 额外提供变量选择
• 平方复杂度在极长窗口上逼出稀疏变体，短窗口不必上
• 小样本默认门控或 TCN，注意力当对照加项

下一节把 MLP 请回桌面：拍扁基线和分解网络，常常是深度对照里被跳过、却经常赢的一行。