文档摘要

第二章 注意力机制核心模块 读者读完这章，能够掌握注意力的各种变体、计算优化方法，以及Encoder-Decoder架构中的注意力应用。 2.1 Cross-Attention与Encoder-Decoder架构 Cross-Attention是连接编码器和解码器的关键组件，它在Transformer架构中扮演着信息桥梁的角色。 2.1.1 Cross-Attention的基本原理 Cross-Attention的核心特点是： Query来自解码器 Key和Value来自编码器 实现了跨序列的信息传递 2.1.

---