7.1.2 分散/聚合（Scatter/Gather）与 KV Cache 管理

文档摘要

7.1.2 分散/聚合（Scatter/Gather）与 KV Cache 管理在大语言模型推理的“高速公路上”，TensorRT-LLM 不是简单地把模型塞进 GPU 就完事——它是一套精密协同的“交通调度系统”。而其中最核心、最常被低估、也最容易在高并发、长上下文、多请求场景下成为性能瓶颈的模块，正是 KV Cache 的组织与调度机制。尤其当模型规模突破百亿参数、batch size 动辄数十、序列长度跨越 8K 甚至 32K，KV Cache 已不再是一个静态的内存块，而是一张动态伸缩、按需分发、跨层复用、细粒度寻址的“神经突触地图”。我们常说 TensorRT-LLM 的架构演进是一场从“粗粒度绑定”到“细粒度解耦”的范式迁移。那么，在 7.1.