第3章-上下文与缓存

文档摘要

第 3 章 · 上下文与缓存导读：大模型最贵的不是网络，是把长上下文一遍遍喂给 GPU。本章讲如何用多级缓存和上下文压缩，把「重复计算」砍掉一大半。 3.1 多级缓存设计结果缓存：相同问题直接返回历史答案（适合 FAQ 类）。前缀缓存（KV Cache 复用）：共享系统提示词前缀，避免重复 prefill。语义缓存：相似问题命中近似结果，命中率可达 30%+。 S{语义相似?}; S -- 是 --> CACHE[语义缓存]; S -- 否 --> M[模型]; M --> W[写回缓存];" alt="语义缓存命中" width="600"/> 3.2 上下文压缩与窗口管理滑动窗口保留最近 N 轮。摘要压缩：把早期对话提炼为摘要再拼回。

第 3 章 · 上下文与缓存

导读：大模型最贵的不是网络，是把长上下文一遍遍喂给 GPU。本章讲如何用多级缓存和上下文压缩，把「重复计算」砍掉一大半。

3.1 多级缓存设计

结果缓存：相同问题直接返回历史答案（适合 FAQ 类）。
前缀缓存（KV Cache 复用）：共享系统提示词前缀，避免重复 prefill。
语义缓存：相似问题命中近似结果，命中率可达 30%+。

3.2 上下文压缩与窗口管理

滑动窗口保留最近 N 轮。
摘要压缩：把早期对话提炼为摘要再拼回。
向量检索：长文档对话用 RAG 按需取片段，而非全量入窗。