4.3.1.2 缓存量化（FP16 vs INT8/Q4_0 KV Cache）

文档摘要

4.3.1.2 缓存量化（FP16 vs INT8/Q40 KV Cache）突破显存墙：KV Cache 量化的实战指南与陷阱规避在深夜的推理服务监控大屏前，红色的 OOM（Out of Memory）警报总是最让人心跳加速的景象。作为一名在一线摸爬滚打的算法工程师，我们深知大模型（LLM）推理服务中的“显存墙”往往不是被模型权重本身撞碎的，而是被那个随着上下文长度线性增长的庞然大物——KV Cache（Key-Value Cache）所压垮的。当我们将上下文长度从 4k 扩展到 32k 甚至 128k 时，KV Cache 的显存占用会像脱缰的野马一样迅速吞噬 GPU 的宝贵资源。为了驯服这匹野马，业界将目光投向了 KV Cache 量化技术。