4.2 缓存层级设计：容量、延迟与相联度
4.2 缓存层级设计：容量、延迟与相联度的谈判
本节摘要：缓存是"把数据放得离处理器更近"这门生意的全部实践，它的设计由五个旋钮构成——容量、块大小、相联度、写策略、层级组织，每个旋钮都在买一样东西的同时付出另一样。本节逐个旋钮讲清议价方向，给出一份标准的缓存设计议价流程，并以一级缓存的经典参数为例演示整套谈判怎么成交。
这门生意的底层逻辑
缓存的赌注建立在局部性上：程序刚用过某个地址，附近地址大概率马上也要用（空间局部性）；刚用过的数据本身也可能再用（时间局部性）。缓存用一块小而快的存储装下"最近常用"的子集，赌命中率足够高——命中，访存延迟从主存的几百纳秒级缩到纳秒级；未命中，不仅要付主存延迟，还要倒贴查找的几拍。
一级缓存的设计目标几乎只有一个字：快。它直接坐在访存站的路径上，访问延迟决定流水线的装载—使用停顿拍数。二级、三级缓存则用更大的容量接住一级漏下来的请求，目标从"快"转向"准"。层级组织的本质是用下级的容量换上级的命中率，让昂贵的小快存储尽量不空转。
缓存的组织结构与层级
五个旋钮的议价表
| 旋钮 | 调大买到 | 调大付出 | 经验成交点 |
|---|---|---|---|
| 容量 | 命中率升、下级流量降 | 访问延迟涨、面积功耗涨 | 一级几十千字节，下级逐层翻倍 |
| 块大小 | 空间局部性红利、带宽利用率高 | 未命中惩罚加重、碎片装载浪费 | 一级一两字到四字，下级更大 |
| 相联度 | 冲突未命中减少 | 比较器变多、时序变难 | 一级二到四路，下级八到十六路 |
| 写回策略（写直达对比） | 写回省总线带宽 | 写直达简单但每写都碰下级 | 通用核几乎都选写回加写分配 |
| 层级级数 | 各级目标单纯化 | 传播延迟与一致性管理变复杂 | 常见两到三级 |
替换策略也值得一提：新行要挤进来，谁让位？最近最少使用是教科书答案，但真硬件按完全精确的"最近"记录成本太高，普遍用近似实现——每位一行的使用标记，定期采样清零，替换时优先挑标记为零的行。这又是一个"精确度对硬件成本"的小谈判。
一级缓存的成交现场
把旋钮拧到一颗典型通用核的一级数据缓存上，看整套谈判如何收口。
容量定在三十二千字节上下。再小，命中率掉得心疼；再大，访问延迟顶不住流水线的装载—使用节奏——别忘了 3.2 的结论：装载停顿直接吃掉每周期指令数。四路组相联：直接映射的冲突未命中在通用负载下太刺眼，全相联的比较器阵列又撑不住一拍的时序预算。块大小取两个字（八字节）到四个字：再大，装载浪费（块里用不到的部分也占带宽）开始超过空间局部性收益。写回加写分配：写操作先改缓存行、置脏位，被替换时才写回下级——总线带宽是全系统的稀缺品，值得省。虚拟索引物理标号（4.1 讲过的并行技巧）让翻译与查找同拍进行。
💡 关键直觉：一级缓存的所有参数都在为一个目标让路——访问延迟必须匹配流水线的装载节奏。层级里越靠近处理器的存储，设计越像艺术品；越往下，越像仓库管理。
从单核到多核的前哨
本节全部讨论都默认缓存只有一份。多核系统里每个核各带私有缓存，同一段数据可能同时存在多份副本——一个核写了，别的核读到的是旧值，程序就从"慢"升级成"错"。这个问题的完整解法是一致性协议，4.4 展开；而请求怎么在系统里流动，先看 4.3 的互连总线。
层级之间的两个进阶议题
包容策略：下级要不要包含上级。共享的下级缓存有两种组织：包容式（下级包含上级的全部内容，4.4 提过）与排他式（同一行只会存在于其中一级）。包容式让一致性请求可以在下级截获应答，协议实现简单；代价是同样的硅面积里，有效容量被上级的内容重复占用。排他式省容量，但一致性逻辑与替换策略都更绕。中庸路线是非包容式管理：不保证包含也不强制排他，按需保留——高端处理器的演进方向多是非包容，工程权衡的又一实例。
预取：替你提前搬水的仆人。缓存未命中的请求序列有规律可循（连续、跨步），预取器识别规律后提前把"下一个可能用的块"搬进缓存——命中时仿佛缓存从未未命中。它是纯粹的赌博：猜对白赚延迟，猜错白耗带宽与缓存空间（挤掉真正要用的行）。预取器的档位从简单"未命中即取下一行"到复杂的跨步与流识别不等；实时系统对它的态度最谨慎——不可预测的带宽占用可能破坏最坏情况分析。这也是 4.3 说的"带宽是稀缺品"在缓存层的回响：预取、一致性流量、真实需求三方共享同一条路。
常见问题快答
问：缓存越大越好吗？ 对命中率基本成立（到工作集装下后趋于饱和），但对延迟与功耗几乎单调变差——一级缓存尤其如此，它坐在关键路径上。层级设计的全部要点就是"一级压延迟、下级堆容量"，两张目标表别混用。
问：直接映射为什么还有人选？ 快且省。一路组相联没有比较器阵列、命中判定路径最短，访问延迟最好压；冲突未命中的痛可以靠容量或巧妙的地址映射缓解。某些实时核与嵌入式专用缓存至今用直接映射，换确定性——又是"平均对最坏"的那场老谈判。
一张自查表：你的缓存配置经得起问吗
评审缓存配置方案时，下面七问是现成的考卷：目标负载的工作集多大（决定容量档位）？访存的局部性形态偏时间还是空间（决定块大小）？地址分布有没有规律冲突（决定相联度要不要加）？写密集还是读密集（决定写策略细节）？取指带宽紧不紧（决定指令缓存与数据缓存分合）？多核计划有没有（决定一致性接口要不要预留）？实时性要求有没有（决定预取与替换敢不敢激进）？七问都有数据支撑的方案，参数即使保守也是好方案；七问答不上来的方案，参数再漂亮也是抄来的——缓存设计的水位，从来不在参数表里，在回答里。
本节要点回顾
- 缓存的赌注是局部性，层级组织用下级容量换上级命中率；
- 一级为快、下级为准：不同层级的优化目标完全不同，参数表别照抄；
- 五旋钮一张表：容量、块大小、相联度、写策略、级数，各有买与付；
- 替换用近似实现：精确的最近最少使用太贵，采样标记是工业答案；
- 多核引入副本问题：私有缓存让"慢"变成"错"，4.4 的一致性协议接手。
缓存把数据备好了，访存请求接下来要走出处理器，进入互连的世界。