3.1 HBM 堆叠原理与接口演进

3.1 HBM 堆叠原理与接口演进

要理解为什么现代 AI 芯片几乎都用 HBM，先要理解一个朴素的物理事实：带宽 = 位宽 × 频率。HBM 的全部魔法，就是把这个公式里的"位宽"做到极致。

3.1.1 带宽公式与 HBM 的解题思路

任何内存的带宽都遵循同一个公式：

带宽 = 位宽 × 频率
​

传统显存（如 GDDR）走的是"高位宽难、就提频率"的路线——它通过不断提升时钟频率来增加带宽。但频率提升有物理极限：频率越高，信号完整性问题越严重，功耗和发热也越大。这条路走到后面边际收益越来越低。

HBM 走了完全相反的路线：既然提频率难，那就提位宽。它把成千上万根数据线并联起来，用极宽的接口在相对低的频率下搬运海量数据。这就好比——GDDR 是"窄路跑车"，靠速度取胜；HBM 是"百车道高速公路"，靠并行取胜。

传统 GDDR：位宽窄(~384位) × 高频率  → 带宽中等
HBM：     位宽极宽(数千~上万位) × 中频率 → 带宽极高
​

💡 关键认知：HBM 的"宽"不是免费的。要把数千根线引到计算芯片旁边，必须把内存和计算芯片做得物理上极近——这就是 3D 堆叠和先进封装的由来。HBM 本质上是"用面积和封装成本换带宽"。

3.1.2 3D 堆叠：TSV 与多层 DRAM

HBM 的标志性结构是 3D 堆叠。多个 DRAM 芯片层像千层饼一样垂直叠在一起，每层之间通过 TSV（Through-Silicon Via，硅通孔） 连通。TSV 是一种贯穿整个硅芯片的垂直导电通孔，让信号和供电可以跨层直通，而不必绕到芯片边缘走线。

一个完整的 HBM 堆叠通常包含：

• 多个 DRAM 芯片层：每层是一块独立的 DRAM，叠得越多容量越大。
• 一个逻辑基础层：位于堆叠底部，集成了内存控制器和接口逻辑，负责与计算芯片通信。
• TSV 阵列：贯穿所有层的垂直互连，提供层间数据与供电通路。

HBM 堆叠侧视（"千层饼"）：

   ┌─────────────┐  ← 顶层
   │  DRAM 层 N  │
   ├─────────────┤
   │  DRAM 层N-1 │
   ├─────────────┤   ↑ TSV 贯穿
   │    ...      │     所有层
   ├─────────────┤
   │  DRAM 层 1  │
   ├─────────────┤
   │ 逻辑基础层   │  ← 内存控制器
   └─────────────┘
         │
   ┌─────┴───────┐
   │ 硅中介层     │  ← 与计算芯片并排紧贴
   └─────────────┘
​

3D 堆叠带来两个直接好处：一是单位面积容量成倍提升（垂直方向上叠了多层），二是信号路径极短（TSV 直通，无需长距离走线），从而支持更宽的接口和更稳定的信号。

3.1.3 硅中介层：让计算与内存"贴脸"

光有 3D 堆叠还不够。要把 HBM 极宽的接口接到计算芯片上，还需要一个关键部件——硅中介层（Silicon Interposer）。硅中介层是一小块硅片，上面布满超细的互连线，HBM 堆叠和 GPU/NPU 计算芯片并排放置在它上面，通过中介层上的微凸点和互连线连接。

硅中介层的意义在于：它让计算芯片和 HBM 的物理距离缩短到毫米级，从而可以用远超传统 PCB 的密度来布线。传统主板上的走线密度受限于 PCB 工艺，位宽做不大；而硅中介层用的是芯片制程级别的布线密度，可以轻松支持数千乃至上万位的并行接口。

⚠️ 中介层的代价：硅中介层本身需要用先进封装工艺（典型是 CoWoS，详见第 8 章）制造，良率和产能都受限，成本高昂。这就是为什么 HBM 虽好，却主要用在高端 AI 芯片上——它的成本结构决定了它不适合低端场景。

3.1.4 HBM 世代演进

HBM 自问世以来已经历多代演进，每一代都在"位宽 × 频率"两端继续提升，并改善能效和容量：

• 早期 HBM：确立 3D 堆叠 + 宽接口的技术路线，带宽首次突破传统显存。
• HBM2/HBM2e：提升单堆叠容量与频率，成为高端 GPU 和 AI 加速器的标配。
• HBM3/HBM3e：进一步推高带宽与容量，是当代旗舰 AI 芯片（含 Blackwell）的选择。HBM3e 在带宽和能效上较前代又有明显提升。
• 未来世代：业界持续向更高带宽、更多堆叠层数、更低功耗方向演进。

HBM 世代演进主线：
容量 ──────────────────────────────► 持续提升（堆叠层数增加）
带宽 ──────────────────────────────► 持续提升（接口+频率）
能效 ──────────────────────────────► 持续改善
每代都在"面积/成本换带宽"的交易上做加法
​

💡 世代演进的本质：每一代 HBM 都在"用更多面积、更高堆叠、更先进封装换更高带宽"。这意味着 HBM 的产能越来越依赖先进封装（CoWoS），这也是第 8 章要讲的产业链瓶颈所在——HBM 产能常常被 CoWoS 封装产能卡住。

3.1.5 HBM 不是万能的

讲了这么多 HBM 的好处，也要看到它的局限：

• 容量增长慢于带宽增长：虽然带宽每代提升明显，但单芯片总容量增长相对温和。大模型参数量增长却远快于此，导致"装不下"的问题越来越严重。
• 成本与功耗：HBM 堆叠和先进封装成本高，且堆叠层数增加带来功耗和散热挑战。
• 产能受限：HBM 产能高度依赖少数厂商和 CoWoS 封装，供应链脆弱。

这三条局限合起来，就是"内存墙"在物理层面的具体表现。下一节我们看 Blackwell 如何用 HBM3e 应对这些挑战，再下一节看昇腾的内存设计路线。

思考与延伸

1. 假设某项新技术能把 HBM 的频率提升 50%，但成本翻倍。对大模型训练这个场景，这笔交易划算吗？为什么？
2. 硅中介层让 HBM 和计算芯片"贴脸"，但这也意味着它们必须封装在一起。这种紧耦合对芯片设计的灵活性有什么影响？
3. 为什么 HBM 产能常被 CoWoS 封装卡住，而不是被 DRAM 本身的产能卡住？这个现象对 AI 芯片厂商的供应链管理意味着什么？

本节关键词：HBM、TSV、3D 堆叠、硅中介层、带宽公式、HBM3e　返回：第 3 章支柱页　下一节：3.2 Blackwell 的显存子系统