10.3FlashAttention

文档摘要

10.3 FlashAttention 在大模型中，注意力机制已成为关键技术之一。然而，随着数据规模的不断增大和模型复杂度的提高，注意力机制也面临着一些挑战。其中之一是计算复杂度和存储压力。对于 Transformer 类的模型，其计算复杂度和消耗的存储空间随着输入序列长度的增加呈平方增长，这给计算和存储带来了极大的压力。此外，传统的注意力机制在处理长序列数据时效率不高，容易出现梯度消失或爆炸的问题。 FlashAttention 作为一种行之有效的解决方案，旨在解决 Transformer 模型的复杂度问题。它的命名中包含了其主要特点：Fast and Memory Efficient Exact Attention with IO-Awareness。