第3章 平台级Prompt Caching：把上下文变成资产
文档摘要
第3章 平台级Prompt Caching：把上下文变成资产 章节摘要：本章跟着一条线走——把"已经算过的上下文"从一次性的算力开销，变成可以反复回收的资产。第2章里 KV 复用发生在显存中、由推理引擎替你管理；当请求打到云厂商的 API，这套复用被产品化、被计费、被各家赋予了不同语义。读完后你会清楚：同样一份 System Prompt，在 Anthropic、OpenAI、DeepSeek、Gemini 这四条通道上分别如何被缓存、如何被收费、又怎样在提示词里摆对位置才能吃满折扣。本章是"复用经济学"的落地层——第2章给了机制，第4章谈应用层语义缓存，第6章做成本核算，本章夹在中间，先把"平台这一层到底回收了什么"讲透。 一条主线 把算力想成预先垫付的现金。
第3章 平台级Prompt Caching：把上下文变成资产
章节摘要：本章跟着一条线走——把"已经算过的上下文"从一次性的算力开销，变成可以反复回收的资产。第2章里 KV 复用发生在显存中、由推理引擎替你管理；当请求打到云厂商的 API，这套复用被产品化、被计费、被各家赋予了不同语义。读完后你会清楚：同样一份 System Prompt，在 Anthropic、OpenAI、DeepSeek、Gemini 这四条通道上分别如何被缓存、如何被收费、又怎样在提示词里摆对位置才能吃满折扣。本章是"复用经济学"的落地层——第2章给了机制，第4章谈应用层语义缓存，第6章做成本核算，本章夹在中间，先把"平台这一层到底回收了什么"讲透。
一条主线
把算力想成预先垫付的现金。模型每处理一个 token，都要在前缀上做一次 prefill 计算，这一步的算力在你按下回车那一刻就花出去了，跟这笔钱有没有被利用第二次无关。第2章的 PagedAttention、RadixAttention 想的是"在同一台机器的显存里，让下一个请求免费复用上一次算出的 KV"。但当你用别人的云 API，复用与否、复用多少、复用按什么价结算，都不再由你说了算——它由平台定义，写进价目表，封装成产品能力。
本章的主线只有一句话：云厂商把"显存里的前缀复用"包装成了一种可购买、可计费的缓存能力。你付的每一分钱，要么是第一次算的全价，要么是回收复用的折扣价。这条线从"各家语义差异"出发，经过"怎么计费"，落到"怎么摆放提示词才能把折扣吃满"，最后延伸到"长文档和 RAG 这种大上下文场景怎么编排"。它和第2章是同一枚硬币的两面：第2章看的是显存内部怎么复用，本章看的是那层复用被 API 包装之后，对你意味着什么。
沿途站点
本章五站，沿主线顺序推进：
- 3.1 各家平台缓存语义对比：先把四家的触发方式、缓存键粒度、最小可缓存长度、断点数量、TTL、计费方式摆在一张表上。你会发现它们底层全是前缀匹配，差异全在"谁来决定断点"和"怎么对齐"。
- 3.2 缓存命中计费经济学：把折扣、溢价、命中率翻译成一个有效单价公式，再用一份教学价目把"8K 系统提示词 + 每次 500 token 新输入"的账算清楚，给出可运行的测算脚本。
- 3.3 写入、TTL 与失效：平台缓存的生命周期：缓存不是永久资产，它有写入、命中、过期、重写的状态流转。本章讲清各家 TTL 的脾气和三种失效情形，顺带给出"预热"这个生产级动作。
- 3.4 System Prompt 的缓存友好改造：把稳定的内容放头部、易变的内容放尾部，给出改前改后两份 messages 数组，逐项标注哪段破坏缓存、哪段能命中。
- 3.5 长文档与 RAG 场景的缓存编排：当上下文是整本文档或一堆检索片段，前缀缓存怎么摆断点、怎么和 RadixAttention 的文档树思路呼应、又和语义缓存怎么分工。
拐点与结论
本章真正的认知转折在于：缓存从来不是"开了就省"，而是"摆对了才省"。OpenAI 和 DeepSeek 把断点决策藏进对齐逻辑里，你改不了位置只能改长度；Anthropic 和 Gemini 把断点交给你，你有了控制权却也背上了责任。两种设计没有对错，但后果落在同一处——提示词的结构本身就是成本结构。一份把稳定前缀堆在头部的提示词，和一份把时间戳、用户变量塞进头部的提示词，在 API 账单上是两种价格。
最终落点是：平台缓存的命中度，约等于你"克制改动前缀"的程度。想让折扣生效，先得承认自己写提示词时有大量可复用的稳定部分——系统设定、工具定义、参考资料——这些东西一旦挪位置，前面的缓存就全废了。所以本章不是教你怎么"开启"一个开关，而是教你怎么重新组织你已经在写的内容。
读完你应该
阅读完本章，你应当能够：
- 给定一份 messages 数组，判断它在 Anthropic 与 OpenAI 各自语义下的缓存命中范围。
- 区分"缓存读价""缓存写价""常规输入价"三个概念，并解释为什么写价比常规价还贵。
- 用命中率推导有效单价，估算一个固定系统提示词业务的月度节省。
- 列出至少三种会让平台缓存整体失效的提示词写法，并说明各自破坏的是哪一项前提。
- 针对长文档问答，选择"文档做前缀"还是"检索片段拼接"，并说清取舍。
- 在发布新版本 System Prompt 前，设计一轮预热请求来填缓存、避免冷启动尖峰。
下一章的接力
主线走到这里，平台这一层的回收逻辑已经闭合：你知道了在云 API 上怎么把前缀变成资产。但平台缓存只认"字面完全相同的前缀"——一旦问题措辞不同、语义相同，它就不认了。第4章的应用层语义缓存，要解决的正是这个更难的命题：能不能在语义层面复用，而不是只在字节层面复用。而第6章的成本核算，会回头把本章的折扣率和第4章的命中率合进一张总账。