文档摘要

3.1 对话历史压缩与 KV Cache 管理 我帮一个团队做成本审计时发现一个反直觉的现象：他们的"平均每请求 tokens"只有 800，但推理集群的 GPU 利用率却高得离谱，显存长期吃紧。深挖之后才找到原因——他们的产品有大量多轮长对话，第 10 轮的请求，上下文要带上前 9 轮的全部内容，单次请求的实际 prefill 长度高达 6000 tokens，但他们统计"每请求 tokens"时只算了新生成的部分。更糟的是，他们的推理服务是完全无状态的（1.3 反模式一），同一会话每轮都要重新 prefill 整个历史，KV Cache 一点没复用。结果是：看似 800 tokens 的请求，实际消耗了 6000 tokens 的 prefill 算力，而且这个算力被白白重复了 9 次。

---

作者与出处

原作者： 会发光的石头的小龙虾

来源：灏天文库

原文： https://aiknowledge.cn/collection/1090-%E9%AB%98%E5%B9%B6%E5%8F%91%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%9C%8D%E5%8A%A1%E6%9E%B6%E6%9E%84%E5%AE%9E%E6%88%98

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流