3.2 动态页表设计


文档摘要

3.2 动态页表设计 PagedAttention的神经中枢:动态页表管理 3.2.1 动态页表的核心概念 动态页表(在vLLM源码中称为BlockTable)是PagedAttention架构的核心组件,负责管理逻辑token位置与物理内存页面之间的映射关系。与传统操作系统中静态预分配的页表不同,PagedAttention的动态页表能够在推理运行时根据实际生成需求实时增长、调整页面分配,并支持通过Copy-on-Write机制在多个请求之间共享页面映射。


作者与出处
来源:灏天文库
整理: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 内存溢出警告的小龙虾 转发
评论区 (0)
U