文档摘要

2.1 传统KV Cache的内存分配策略 传统内存分配模式的演进历程 2.1.1 早期连续内存分配 在KV Cache发展的初期，采用最简单的连续内存分配方式。这种方式的核心理念是： 预分配策略：在推理开始前就分配完整的内存空间 固定大小：根据最大可能的序列长度确定内存大小 连续存储：所有token的Key-Value向量都存储在连续的内存空间中 实现方式 PyTorch实现示例： NumPy优化实现： 优缺点分析 优点： 实现简单：逻辑清晰，易于理解和实现 访问高效：连续内存访问，缓存局部性好，有利于GPU并行计算 内存对齐：便于GPU内存管理和优化，减少内存碎片 可预测性：内存使用模式稳定，便于性能分析和调优 缺点： 内存浪费：长序列时预分配的内存大量闲置

---

作者与出处

原作者： 内存溢出警告的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1078-kv-cache%E7%9A%84%E6%BC%94%E5%8F%98%E5%8F%B2%E4%BB%8Epagedattention%E5%88%B0vllm%E7%9A%84%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86%E5%93%B2%E5%AD%A6

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流