3.2 Blackwell 的显存子系统

3.2 Blackwell 的显存子系统

理解了 HBM 的原理，再看 Blackwell 就清晰了：它本质上是在"用更多、更快的 HBM 堆叠"去喂饱上一章那颗算力极强的计算核心。

3.2.1 多堆叠并联：把带宽做厚

Blackwell 的显存子系统沿袭了现代旗舰 GPU 的标准做法——在单颗芯片周围配置多个 HBM 堆叠，每个堆叠独立提供一条高速通道，多堆叠并联后总带宽是各堆叠带宽之和。

为什么一定要用多堆叠？因为单个 HBM 堆叠的带宽有物理上限（受限于堆叠层数、接口宽度、频率）。要继续往上推总带宽，最直接的办法就是"加堆叠"——把两颗、四颗甚至更多 HBM 堆叠并排放到计算芯片旁边，每颗都通过自己的中介层通道独立工作。

Blackwell 显存子系统（俯视示意）：

              ┌─────────┐
   HBM堆叠1 ◄─┤         ├─► HBM堆叠2
              │ Blackwell│
   HBM堆叠3 ◄─┤  计算    ├─► HBM堆叠4
              │  核心    │
              └─────────┘
   每个堆叠独立通道，带宽相加
​

这种"多堆叠并联"的好处不仅是带宽高，还有带宽与容量同步增长——加堆叠既加了带宽，也加了容量。这对大模型训练尤其重要，因为大模型既需要高带宽（喂得快），也需要大容量（装得下）。

💡 设计与封装的耦合：加堆叠意味着中介层要更大、封装更复杂，这也是为什么旗舰 GPU 必须用最先进的 CoWoS 封装——不是奢侈，而是多堆叠并联的物理要求。第 8 章会详细讲这个耦合关系。

3.2.2 HBM3e：Blackwell 这一代的内存选择

Blackwell 这一代采用的是 HBM3e（及其演进版本）。相比上一代，HBM3e 在两个关键维度上有提升：

• 更高带宽：单堆叠带宽进一步提升，叠加多堆叠并联后，整芯片显存带宽进入新的量级。
• 更大容量：单堆叠容量增加，配合多堆叠使整芯片显存总容量显著扩大，缓解大模型"装不下"的压力。

这两个提升对 Blackwell 的定位至关重要。回顾第 2 章，Blackwell 的算力增长很大程度上来自低精度计算——低精度让单位时间运算量翻倍，但这也意味着对显存带宽的需求同步翻倍（要在同样时间里喂更多数据）。如果带宽跟不上，低精度带来的算力红利就会被"内存墙"吃掉。HBM3e 的带宽提升，正是为了让 Blackwell 的低精度算力能够真正发挥。

⚠️ 算力与带宽的赛跑：每一代 GPU 都在玩这场赛跑——算力靠低精度/稀疏翻倍，带宽靠新一代 HBM 跟进。只要带宽跟不上算力的增长，就会出现"算力很高但跑不满"的尴尬。Blackwell 这一代尤其要小心这个平衡，因为它的算力增长幅度很大。

3.2.3 共享内存域与一致性

在 NVL72 这个语境下，Blackwell 的显存还有一个特殊属性——它不只是单卡的私有显存，还是 NVL72 单一内存域的一部分。

回顾第 1 章，NVL72 把 72 颗 Blackwell 用 NVLink 焊成一个内存域，每颗 GPU 都可以访问其他 GPU 的显存。这意味着从软件视角看，整个机柜就像有一颗"超大显存"的虚拟 GPU。要做到这点，硬件层面必须支持跨 GPU 的内存访问和缓存一致性（Coherence）——也就是保证多颗 GPU 看到的内存数据是一致的，不会出现"一颗 GPU 改了某个数据，另一颗 GPU 还看到旧值"的错误。

这在工程上极其复杂，涉及一致性协议、目录结构、一致性流量管理等。NVIDIA 在这个领域积累深厚，这也是 NVL72 能"把柜做成一颗大芯片"的技术基础。具体协议细节属厂商专有实现，本教程不展开，但其"单一内存域 + 硬件一致性"的成果是公开且稳定的。

NVL72 单一内存域（示意）：

  GPU1显存 ◄──┐
  GPU2显存 ◄──┤
  GPU3显存 ◄──┼──► NVLink 互联 + 一致性协议
   ...        │      ↓
  GPU72显存◄──┘
              对软件呈现为单一统一地址空间
              任何 GPU 可直接访问任意其他 GPU 的显存
​

💡 单一内存域的编程价值：它让程序员无需手动管理数据在哪些 GPU 上、何时搬运。这种"硬件帮你管数据放置"的体验，是 NVL72 相对传统分布式训练的核心易用性优势。

3.2.4 Blackwell 内存设计的取舍

总结 Blackwell 显存子系统的设计取舍：

• 选 HBM3e：用最新一代高带宽 HBM 喂饱低精度算力，这是性能的物理基础。
• 多堆叠并联：用面积和封装成本换带宽与容量，旗舰定位决定了这是必选项。
• 单一内存域 + 一致性：用硬件复杂度换软件易用性和机柜级紧耦合，这是 NVL72 路线的根基。

这三条取舍都指向同一个结论：Blackwell 的内存子系统是为"单柜算力极致 + NVLink 全互联"这条路线量身定制的。它不惜在封装和一致性上投入重金，换来的是 NVL72 在万亿参数训练上的高吞吐。下一节我们看昇腾950 在不同的约束下，做出了哪些不同的内存选择。

思考与延伸

1. 假设某代 Blackwell 的算力翻倍但带宽只提升 30%，根据屋顶线模型，哪些类型的算子会受影响最大？实际训练速度会怎样？
2. 单一内存域对程序员友好，但它要求硬件一致性。你能想到这种硬件一致性在多大规模下会变得难以维持吗？NVL72 的 72 卡是否接近这个极限？
3. 多堆叠并联让中介层越来越大。中介层尺寸的增长对良率和成本有什么影响？这是否构成 HBM 路线的天花板？

本节关键词：HBM3e、多堆叠并联、单一内存域、缓存一致性、Blackwell 显存　返回：第 3 章支柱页　下一节：3.3 昇腾950 的内存设计