文档摘要

2.2.1 KV 缓存分页原理 在大模型推理的战场上，KV缓存早已不是配角，而是决定吞吐、延迟与显存利用率的“战略制高点”。当一个70B参数的模型以每秒20 token的速度生成文本时，若仍沿用传统连续分配的KV缓存策略——每个序列独占一块固定大小的内存块，那么显存中将充斥着大量“半空”的缓存页：有的只用了3个token的KV对，却占了64个slot；… 会员。《2.2.1 KV 缓存分页原理》收录于灏天文库文集《vLLM》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号59152。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---