文档摘要

2.1 Cross-Attention与Encoder-Decoder架构 Cross-Attention（交叉注意力）是Transformer架构中连接不同模态或不同序列的关键机制，而Encoder-Decoder架构则是序列到序列任务的标准范式。本节将深入探讨Cross-Attention的原理、实现方法，以及其在Encoder-Decoder架构中的应用，为理解现代多模态和序列生成系统奠定基础。 Cross-Attention的基本概念 核心思想 跨序列关注： 与Self-Attention不同，Cross-Attention允许一个序列关注另一个序列的不同位置。这种跨序列的注意力机制是实现多模态融合和序列生成任务的核心。 形式化定义： 给定两个序列X = [x₁, x₂, ...

---