文档摘要

2.2 显存账本与三重浪费 本节摘要：KV Cache 的显存开销分两类：必要的（真实上下文的键值）与浪费的（预留、内部碎片、外部碎片）。本节逐笔算出三重浪费的量级，解释"利用率长期三成上下"的来源，并说明为什么只要沿用"连续整块、按最坏预留"的管理方式，浪费就无法自救。问题钉死之后，第 3 章的块表设计便水到渠成。 把一张卡想成一座停车场：模型权重是固定租用的车位，KV Cache 则是随到随停的临时车位。 会员。《2.2 显存账本与三重浪费》收录于灏天文库文集《vLLM》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/828-vllm

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流