文档摘要

3.1 PagedAttention的核心原理 非连续内存分配的革命性突破 3.1.1 从连续到非连续的范式转变 PagedAttention是2023年由UC Berkeley团队在vLLM项目中提出的革命性注意力计算机制，其最大创新在于将操作系统的虚拟内存分页技术引入GPU显存管理，彻底改变了KV Cache的传统内存管理模式。这种转变不仅是技术上的改进，更是推理系统设计思维模式的重要革新。在PagedAttention出现之前，几乎所有主流推理框架（包括HuggingFace Transformers、FasterTransformer等）都采用连续内存预分配的方式来管理KV Cache，这种方式在面对变长序列和动态批处理时暴露出严重的效率问题。

---

作者与出处

原作者： 内存溢出警告的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1078-kv-cache%E7%9A%84%E6%BC%94%E5%8F%98%E5%8F%B2%E4%BB%8Epagedattention%E5%88%B0vllm%E7%9A%84%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86%E5%93%B2%E5%AD%A6

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流