第六章 · 上下文与采样：把生成质量攥在手里

第六章 · 上下文与采样：把生成质量攥在手里

章节摘要：速度解决「跑得动」，本章解决「答得好」。三个问题构成主线：上下文窗口怎么扩、KV 缓存怎么省、采样参数怎么调。我们先理解 KV 缓存的机制与增长规律，再做一次全量采样参数对照实验，最后用 KV 量化把 32K 窗口塞进 6GB 显存。读完这一章，你会拥有一套按任务类型取用的参数档案。

一条主线

主线从第 5 章遗留的矛盾出发：显存账本显示 Q4_K_M 全卸载后只够 2K 窗口，而长文档问答至少需要 16K。矛盾的解法藏在三节内容里：6.1 节弄懂 KV 缓存的机制——它是生成速度与长记忆的共同地基，也是显存账本里弹性最大的一项；6.2 节暂停扩窗口，先把采样参数调明白——窗口再大，采样不对输出照样不能用；6.3 节带着前两节的储备解决矛盾：KV 缓存量化加窗口策略，让 32K 上下文在这台机器上成为现实。主线终点是一份可以直接抄走的「场景-参数」对照档案。

沿途站点

6.1 KV 缓存与上下文扩展——缓存如何让生成从重复计算变成增量计算，窗口机制的「记忆挤出」为什么是特性而非缺陷，以及 YaRN 等扩展技术的位置。

6.2 采样参数实验——温度、核采样、重复惩罚的机制与联动，四个典型任务（代码、写作、问答、翻译）的参数实测对照。

6.3 KV 量化与长上下文——把 KV 缓存从 16 位压到 8 位与 4 位的实测账目，窗口分档策略，以及长文本任务在这台机器上的完整跑通记录。

拐点与结论

本章有两个拐点。其一在 6.2：多数人把「模型不行」归罪于权重，实测后会发现相当一部分「答得差」是采样参数错配——温度 1.0 写代码的胡言乱语，与温度 0.1 写散文的干瘪复读，症状都像「模型笨」。其二在 6.3：KV 量化的账目揭示了一个不对称性——KV 缓存压到 8 位几乎无损、省一半显存，是比降权重位宽划算得多的交易。两个拐点汇成同一句话：先调参数与缓存，再考虑换模型，这是本地推理的成本纪律。

参数档案速查

6.2 节实测产出的四套参数先亮出来，正文负责讲清来历：代码生成用温度 0.2 加核采样 0.95、不加重复惩罚；技术问答用温度 0.3 加核采样 0.9 加轻惩罚 1.05；中文写作用温度 0.85 加核采样 0.9 加惩罚 1.1；摘要翻译用温度 0.1 加核采样 0.8。窗口侧的基线结论：8 位 KV 量化近乎无损且立省一半缓存显存，是 16K 以上窗口的默认配置。

本章知识点清单

本章可考核的知识点逐条列出，供自检：说出 KV 缓存把生成复杂度从平方降到线性的机制；用「每 token 字节数乘窗口」估算任意模型的缓存占用；解释窗口滑槽的挤出行为与「预付房租」属性；给出 YaRN 类扩展技术的适用边界（训练值内免动作、超一到两倍可试、数十倍换方案）；按任务类型写出四套采样参数并说明判断依据；执行 KV 缓存 8 位量化并说出 K 与 V 敏感度不对称时的非对称省法；用海捞测试验证长上下文质量。七条全部通过，本章毕业。

验收题组建议

本章实验自带质量验收环节，提前备好题组会顺很多：五道短答题（考察指令遵循）、一段三百字仿写（考察风格控制）、一道三步推理题（考察链式能力）、一组重复性检查（考察惩罚参数）。题组一旦定下就固定不动——它是本章所有采样实验的「尺子」，尺子常换，刻度就失义。

读完你应该

• 能解释 KV 缓存为什么让生成为线性复杂度，以及它如何随窗口增长；
• 能按任务类型给出一组温度与截断参数，并说出判断依据；
• 能计算任意模型的每 token KV 开销，选出合适的窗口档位；
• 能用 KV 量化在既有显存里翻倍上下文容量，并评估质量代价；
• 能针对长文档问答给出从窗口到采样的完整参数组合。

下一章的接力

单机体验至此完备，接下来是把玩具变成服务。第 7 章把 llama.cpp 挂到网络端口上：OpenAI 兼容接口、并发槽位、多语言绑定，让它像一台真正的推理服务器那样工作。