第 3 章 · 芯(二)：内存子系统与带宽

第 3 章 · 芯(二)：内存子系统与带宽

本章要回答的核心问题：上一章我们看了算力，但算力要用满，靠的是喂数据的带宽——为什么说大模型训练里"带宽往往比算力更稀缺"？HBM 到底是怎么把带宽堆上去的？

章节摘要

如果说第 2 章讲的是"算多快"，本章讲的就是"喂多快"。在大模型训练中，算力增长的速度长期快于内存带宽增长的速度，两者的剪刀差形成了著名的"内存墙"。本章从 HBM（高带宽显存）的 3D 堆叠原理讲起，剖析 Blackwell 的 HBM3e 显存子系统与昇腾950 的内存设计路线，看两大平台如何应对带宽饥渴，最后落到"内存墙如何反向驱动集群架构"——为什么模型越来越大、集群越来越复杂，根源都在带宽上。

学习目标

• 理解 HBM 的 3D 堆叠原理与接口演进。
• 辨析显存容量、带宽、能效三角的工程权衡。
• 认识内存墙对集群架构（并行策略、规模上限）的反向驱动。

本章子章节关系

本章延续第 2 章"先原理、后平台、再影响"的结构。第 3.1 节讲 HBM 这个共享技术基础，是两大平台共同的内存选择；第 3.2、3.3 节分别看 Blackwell 和昇腾950 如何使用 HBM 及自研内存路线；第 3.4 节把视角拉到系统级，看内存墙如何反向塑造了集群的并行策略和规模。四节合起来回答"为什么带宽是 AI 集群真正的瓶颈"。

3.1 HBM 堆叠原理(共享基础) ←─ 技术底座
        │
   ┌────┴────┐
   ▼         ▼
3.2 Blackwell  3.3 昇腾950    ←─ 平台落地
显存子系统      内存设计
   │              │
   └──────┬───────┘
          ▼
   3.4 内存墙与系统级影响      ←─ 反向驱动集群
​

HBM 3D 堆叠剖面示意图

下面这张图展示 HBM 是如何通过 3D 堆叠把带宽堆上去的，是理解本章所有讨论的物理基础。

<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 880 460" font-family="Segoe UI, Microsoft YaHei, sans-serif">
  <rect width="880" height="460" fill="#0f172a" rx="12"/>
  <text x="440" y="34" text-anchor="middle" fill="#f8fafc" font-size="19" font-weight="bold">HBM 3D 堆叠剖面示意（DRAM + 硅中介层 + TSV）</text>

  <!-- 左侧剖面图 -->
  <text x="220" y="68" text-anchor="middle" fill="#60a5fa" font-size="14" font-weight="bold">剖面视图</text>

  <!-- DRAM 芯片堆叠（多层） -->
  <g>
    <rect x="120" y="90" width="200" height="26" fill="#1e3a5f" stroke="#60a5fa"/>
    <text x="220" y="108" text-anchor="middle" fill="#e2e8f0" font-size="11">DRAM 芯片层 4</text>
    <rect x="120" y="118" width="200" height="26" fill="#1e3a5f" stroke="#60a5fa"/>
    <text x="220" y="136" text-anchor="middle" fill="#e2e8f0" font-size="11">DRAM 芯片层 3</text>
    <rect x="120" y="146" width="200" height="26" fill="#1e3a5f" stroke="#60a5fa"/>
    <text x="220" y="164" text-anchor="middle" fill="#e2e8f0" font-size="11">DRAM 芯片层 2</text>
    <rect x="120" y="174" width="200" height="26" fill="#1e3a5f" stroke="#60a5fa"/>
    <text x="220" y="192" text-anchor="middle" fill="#e2e8f0" font-size="11">DRAM 芯片层 1（基础层）</text>
  </g>

  <!-- TSV 硅通孔 -->
  <g fill="#fbbf24">
    <rect x="135" y="90" width="6" height="110"/>
    <rect x="170" y="90" width="6" height="110"/>
    <rect x="205" y="90" width="6" height="110"/>
    <rect x="240" y="90" width="6" height="110"/>
    <rect x="275" y="90" width="6" height="110"/>
    <rect x="305" y="90" width="6" height="110"/>
  </g>
  <text x="220" y="222" text-anchor="middle" fill="#fbbf24" font-size="11">TSV（硅通孔，贯穿各层）</text>

  <!-- 逻辑基础层 -->
  <rect x="120" y="230" width="200" height="30" fill="#3f1d1d" stroke="#f87171"/>
  <text x="220" y="250" text-anchor="middle" fill="#e2e8f0" font-size="11" font-weight="bold">逻辑基础层（内存控制器）</text>

  <!-- 硅中介层 -->
  <rect x="60" y="270" width="320" height="34" fill="#334155" stroke="#94a3b8"/>
  <text x="220" y="291" text-anchor="middle" fill="#e2e8f0" font-size="11">硅中介层（Silicon Interposer）</text>

  <!-- 微凸点 -->
  <g fill="#94a3b8">
    <circle cx="100" cy="266" r="2"/><circle cx="140" cy="266" r="2"/><circle cx="180" cy="266" r="2"/>
    <circle cx="220" cy="266" r="2"/><circle cx="260" cy="266" r="2"/><circle cx="300" cy="266" r="2"/><circle cx="340" cy="266" r="2"/>
  </g>

  <!-- GPU/NPU 计算芯片 -->
  <rect x="60" y="314" width="320" height="56" fill="#1e293b" stroke="#60a5fa" stroke-width="2"/>
  <text x="220" y="338" text-anchor="middle" fill="#e2e8f0" font-size="13" font-weight="bold">GPU / NPU 计算芯片</text>
  <text x="220" y="356" text-anchor="middle" fill="#94a3b8" font-size="10">通过超宽接口并行访问 HBM</text>

  <!-- 封装基板 -->
  <rect x="40" y="378" width="360" height="24" fill="#1e293b" stroke="#475569"/>
  <text x="220" y="394" text-anchor="middle" fill="#94a3b8" font-size="11">封装基板（连接到主板）</text>

  <!-- 右侧解释 -->
  <text x="640" y="68" text-anchor="middle" fill="#fbbf24" font-size="14" font-weight="bold">为什么能堆出高带宽</text>
  <rect x="460" y="84" width="380" height="64" rx="8" fill="#1e293b" stroke="#475569"/>
  <text x="478" y="106" fill="#e2e8f0" font-size="12" font-weight="bold">① 超宽接口</text>
  <text x="478" y="124" fill="#94a3b8" font-size="11">计算芯片与 HBM 通过数千根并行引脚连接</text>
  <text x="478" y="140" fill="#94a3b8" font-size="11">位宽远超传统 GDDR，单周期搬更多数据</text>

  <rect x="460" y="156" width="380" height="64" rx="8" fill="#1e293b" stroke="#475569"/>
  <text x="478" y="178" fill="#e2e8f0" font-size="12" font-weight="bold">② 3D 堆叠提容量</text>
  <text x="478" y="196" fill="#94a3b8" font-size="11">多层 DRAM 垂直堆叠，单位面积容量成倍增</text>
  <text x="478" y="212" fill="#94a3b8" font-size="11">TSV 贯穿各层，供电与信号上下打通</text>

  <rect x="460" y="228" width="380" height="64" rx="8" fill="#1e293b" stroke="#475569"/>
  <text x="478" y="250" fill="#e2e8f0" font-size="12" font-weight="bold">③ 中介层短互连</text>
  <text x="478" y="268" fill="#94a3b8" font-size="11">硅中介层让计算芯片与 HBM 物理距离极短</text>
  <text x="478" y="284" fill="#94a3b8" font-size="11">寄生电容小，能跑更高频率</text>

  <rect x="460" y="300" width="380" height="64" rx="8" fill="#3f1d1d" stroke="#f87171"/>
  <text x="478" y="322" fill="#e2e8f0" font-size="12" font-weight="bold">④ 代价：先进封装依赖</text>
  <text x="478" y="340" fill="#94a3b8" font-size="11">必须用 CoWoS 等 2.5D 封装（详见第 8 章）</text>
  <text x="478" y="356" fill="#94a3b8" font-size="11">良率与产能受限，成本高昂</text>

  <text x="650" y="408" text-anchor="middle" fill="#fbbf24" font-size="12" font-style="italic">HBM = 超宽接口 × 3D 堆叠 × 先进封装</text>
  <text x="650" y="426" text-anchor="middle" fill="#94a3b8" font-size="11">用面积和成本换带宽，这是 HBM 的本质交易</text>
</svg>
​

💡 如何读这张图：左边是 HBM 的物理剖面，多层 DRAM 通过 TSV 垂直堆叠，再经硅中介层紧贴计算芯片；右边解释这套结构为何能堆出高带宽，以及它的代价。记住"用面积和成本换带宽"这一句，就抓住了 HBM 的本质。

本章导览

本支柱页是第 3 章的入口，正式内容由四个子章节展开：

• 子章节 3.1 · HBM 堆叠原理与接口演进：TSV、3D 堆叠、HBM 世代。
• 子章节 3.2 · Blackwell 的显存子系统：多堆叠、共享与一致性。
• 子章节 3.3 · 昇腾950 的内存设计：带宽与容量的工程取舍。
• 子章节 3.4 · 内存墙与系统级影响：带宽如何决定集群规模与切分策略。

建议按 3.1 → 3.2 → 3.3 → 3.4 顺序阅读。本章是第 4、5 章「网」的伏笔——正是内存墙逼着集群把模型切分到多卡，才有了对高速互联的迫切需求。

本章小结

• HBM 用"超宽接口 + 3D 堆叠 + 先进封装"把带宽堆到 TB/s 级，代价是面积与成本。
• Blackwell 依赖 HBM3e 拿到极高带宽；昇腾在自研路线与 HBM 之间做工程权衡。
• 内存墙（算力增长快于带宽增长）是 AI 集群架构的真正驱动力，它反向塑造了并行策略和集群规模。

本章关键词：HBM、HBM3e、TSV、3D 堆叠、内存墙、内存带宽　上一篇：第 2 章　下一篇：第 4 章 · 网(一)：机柜内全互联