KV 缓存与 Flash-Attention，推理为什么能快 3 倍

01反共识：慢不在算力，在重复和读写

很多人以为推理慢是 GPU 算力不够。其实算力往往没用满——瓶颈是重复计算和显存读写。

自回归生成时，每生成第 t 个 token，注意力要算它和前 t-1 个 token 的关系，需要前 t-1 个 token 的 K、V。如果不缓存，每步都从头重算所有历史 token 的 K、V——O(N²) 的重复。KV 缓存把算过的 K、V 存下来，下一步直接用，省掉重算。

Flash-Attention 解决另一个瓶颈：标准注意力要把 N×N 的注意力矩阵写进 HBM（显存）再读回，HBM 带宽是瓶颈。Flash-Attention 把矩阵分块，在 SRAM（片上高速缓存）里算完再写回，避免 N² 矩阵的显存读写。算的次数没少，但读写少了，墙钟时间大降。

02推理加速对比：选序列长度看三种方案

选序列长度，看 基础 / KV缓存 / KV缓存+Flash-Attention 三种方案的时间、显存、加速比。

03两个杠杆的代价与边界

• KV 缓存的代价是显存：缓存随序列长度线性增长，长上下文（32K+）显存吃紧。所以有 GQA/MQA（分组查询注意力）减少 KV 头数，PagedAttention 分页管理碎片。
• Flash-Attention 不改变结果：它是精确注意力，不是近似，数学上等价，只是 IO 优化。所以可以无脑替换标准注意力。
• 训练也受益：Flash-Attention 让长序列训练可行（省显存），不只是推理。这是长上下文模型能训出来的前提。

一个常见坑：开了 KV 缓存但 batch 大时显存爆——因为每个请求一份缓存。生产上要做 KV 缓存管理（淘汰、压缩、量化到 8bit）。Flash-Attention 则几乎无副作用，能用就用。

04带走这套加速清单