为什么会发展出Multi-Query-Attention和Group-Query-Attention

文档摘要

导入如果你看GPT系列的论文，你学习到的self-attention是Multi-Head Attention(MHA)即多头注意力机制， MHA 包含h个Query、Key 和 Value 矩阵，所有注意力头(head)的 Key 和 Value 矩阵权重不共享。这个机制已经能很好的捕捉信息了，为什么会继续发展出MQA和GQA？很多文章上来就是这三种attention机制的数学公式差别，但没有说为什么有了MHA，还需要MQA，甚至GQA。本文简单阐述原因，给大家一个直觉式的理解。 alt text KV Cache 随着大模型的参数量越来越大，推理速度也受到了严峻的挑战。于是人们采用了KV Cache，想用空间换时间。