文档摘要

第 2 章 · 03 提示缓存(prompt caching) 本节摘要:提示缓存(prompt caching)是 Agent 应用的头号成本利器——把每次请求都重复发送的长前缀(大型 system prompt、工具定义、检索文档、少样本示例)缓存住,命中时输入成本降到原来的十分之一,延迟也大幅下降。但缓存有一条铁律:前缀匹配(prefix match),前缀里任何位置的一个字节变化,都会让其后的所有缓存失效。本节围绕这条铁律展开:讲清渲染顺序( )、四种典型放置模式、如何用 验证命中、如何排查「沉默失效」(时间戳、未排序 JSON、动态工具集),以及并发预热、TTL 选型、20 块回看窗口等进阶要点。读完本节,你能让长上下文 Agent 的成本骤降,并能在缓存不命中时快速定位元凶。

---