- 文集信息
- 目录大纲
- 最新文档
- 知识宇宙
文集详情
文集导读
LLM 缓存机制全面讲解
一家做智能客服的团队月末对账，发现 API 账单里六成的 token 花在了重复内容上——同一段系统提示词、同一份几十页的产品手册，每天被完整地重新计算几百次。工程师的第一反应是加预算，第二反应才是问对问题：这些算力，为什么不能只算一次？
这就是本教程要回答的核心问题。大语言模型的推理成本有一个反直觉的特征：大部分算力花在"重复劳动"上。同一段前缀文本，每来一个新请求就重新编码一遍；多轮对话里，前十轮的内容在第十一轮又完整算了一次；一个被上千用户问过的相似问题，每次都从零生成答案。算力是预付的，缓存是回收——围绕"复用"二字，整个工业界搭建了一整套从显存到云端、从框架到应用的缓存体系。这本教程把这套体系拆开来看：每一层缓存解决什么问题、靠什么命中、付出什么代价、账怎么算。
全册的四层版图
教程按缓存发生的物理位置分四层推进。显存层（第 2 章）是离模型最近的缓存——KV Cache 把已算过的注意力中间结果留在显存里，vLLM 的 PagedAttention 和 SGLang 的 RadixAttention 决定了这些结果如何被组织、切分和跨请求共享。平台 API 层（第 3 章）是云厂商把前缀复用产品化的产物——Anthropic 的 cache_control 断点、OpenAI 的自动前缀缓存、DeepSeek 的上下文硬盘缓存，语义各不相同，计费规则更不相同。应用层（第 4 章）离模型最远——语义缓存用向量相似度判断"这个问题以前答过没有"，命中时连模型都不用调。夹在中间的框架层（第 5 章）是工程师真正动手的地方：vLLM 的启动参数、自建缓存网关、Agent 场景下的消息编排，都在这一章落地。
而第 6 章把视角切换到财务——缓存不是免费午餐，显存占用挤掉的并发、缓存写入的溢价、失效后的重建开销，都要进成本模型算清楚。第 7 章收束全景：跨请求共享的安全边界、端侧设备的取舍，以及缓存、蒸馏、截断、语义压缩这四条降本路线的正面对决。
怎么读这本教程
如果你是第一次接触 LLM 推理成本：按章节顺序读。第 1 章只需要中学数学，但它建立的"重复计算"直觉会贯穿全册——先弄明白为什么 Prefill 阶段每多一个 token 都要花钱，后面所有缓存机制的存在理由才站得住。
如果你在调 API 账单：直接读第 3 章和第 6 章。前者告诉你各家平台的缓存怎么命中、怎么计费、提示词怎么摆放才能吃满折扣；后者给你一套能落地的成本模型和报表口径，让"缓存到底省了多少钱"变成可对账的数字而不是感觉。
如果你在自建推理服务：第 2 章和第 5 章是你的主场。PagedAttention 和 RadixAttention 的设计差异直接决定你选哪个推理框架；vLLM 实战和缓存网关两节给出了可直接改造的代码骨架。
如果你在搭建面向用户的应用：第 4 章的语义缓存是最快见效的手段，但 4.3 节的缓存污染问题必须先读——错误答案一旦进入缓存，会被成倍放大。
每章开头的支柱页列出了本章知识点清单，具体到可自查的程度；每节开头的衔接交代了它在知识路径上的位置。读完后你会拥有一套完整的判断框架：拿到任何一个 LLM 业务的成本问题，能迅速判断该在哪一层加缓存、值不值得加、加了之后账怎么算。
目录大纲
最新文档
知识宇宙
正在加载知识图谱...