4.5 HBM与Chiplet架构的融合趋势

4.5 HBM与Chiplet架构的融合趋势

4.5.1 Chiplet时代的到来

随着半导体工艺制程接近物理极限（3nm、2nm节点的研发成本和制造良率挑战急剧上升），整个芯片行业正在经历一场从单片SoC（System-on-Chip）向Chiplet（小芯片）架构的重大转变。Chiplet的理念是将一个大型SoC拆分为多个功能独立的小芯片，通过先进封装技术将它们互连在一起，形成功能等价但更灵活、成本更优的完整系统。

HBM本身就是Chiplet理念的一种早期实践——将存储功能从计算芯片中分离出来，通过2.5D封装实现紧密互连。随着Chiplet架构的成熟，HBM与Chiplet的融合正在走向更深层次的协同。

4.5.2 HBM作为Chiplet的原型实践

从Chiplet的角度审视，HBM堆叠是一个"由多个同质DRAM die和异质逻辑die组成的Chiplet封装体"：

• 同质小芯片：多个DRAM die通过TSV堆叠，每层die功能基本相同，是"同质chiplet"的典型代表
• 异质集成：底层逻辑die（base die）与DRAM die功能完全不同，负责通道控制、ECC、温度监控等
• 封装互连：HBM通过微凸点（microbump）实现die间互连，再通过硅中介层实现与计算芯片的2.5D互连

这种架构已经在HBM1时代就实现了，可以被视为Chiplet架构在存储领域的先驱实践。HBM的成功验证了以下关键原则：

1. 功能分解是可行的：将存储和计算物理分离，通过高速互连重建逻辑集成
2. 2.5D封装是实用的：硅中介层提供了足够密度和速度的片间互联
3. 标准化接口至关重要：JEDEC标准的HBM接口使得不同厂商的DRAM和计算芯片可以互操作

4.5.3 2.5D封装与3D封装的技术路线演进

HBM与Chiplet融合的关键技术在于封装。当前的封装技术正在从2.5D向3D演进：

2.5D封装（当前主流）：

• 硅中介层（Silicon Interposer）：如台积电CoWoS-L，使用大面积硅中介层将GPU/CPU与多个HBM堆叠互连
• 优点：布线密度极高（亚微米级线宽），信号完整性好
• 缺点：中介层面积受限于光刻掩膜版尺寸（reticle limit，约800-900mm²），成本随面积增长

有机中介层（Organic Interposer）：

• Intel的EMIB技术和台积电的InFO方案使用有机基板替代硅中介层
• 成本显著低于硅中介层，但布线密度和信号质量稍逊
• 适合不需要HBM的Chiplet互联场景

3D封装（新兴方向）：

• 台积电SoIC（System-on-Integrated-Chips）：通过晶圆级3D堆叠，将芯片直接堆叠在芯片上方
• Intel Foveros：通过微凸点实现逻辑芯片的3D堆叠
• 三星X-Cube：类似SoIC的3D封装方案

3D封装对HBM的潜在影响：

• 未来可能出现GPU/CPU计算die直接堆叠在HBM上方的3D架构，消除中介层的信号路径
• HBM的逻辑层（base die）可能被计算die的接口电路替代，进一步降低延迟
• 但3D堆叠也带来了热管理挑战（计算die的热量需要穿过HBM堆叠散出）

4.5.4 UCIe标准：Chiplet互连的通用语言

UCIe（Universal Chiplet Interconnect Express）是2022年发布的Chiplet互连标准，旨在建立Chiplet之间的通用接口协议。

UCIe与HBM的关系：

• UCIe定义的是计算chiplet之间的互联协议，不直接覆盖HBM的内存接口
• 但UCIe支持通过其协议访问连接的HBM资源（CXL.mem模式）
• 未来UCIe可能会演进以更好地支持内存chiplet的标准化互联

当前标准化的HBM接口：
HBM仍然通过JEDEC标准定义专用接口，每个HBM堆叠通过独立通道与主机直接通信。这与UCIe的协议栈（PHY层+适配层+协议层）不同。两者的融合可能需要新一代标准的出现。

潜在发展方向：

1. UCIe-over-HBM：通过UCIe协议栈在chiplet间传递内存访问请求，底层物理层使用HBM通道
2. CXL作为Chiplet内存协议：CXL.mem协议可能成为chiplet架构中访问内存的标准接口
3. 专用内存chiplet接口：定义专门用于chiplet-to-HBM通信的新协议，平衡标准化需求和性能需求

4.5.5 代表性产品与案例分析

Intel Ponte Vecchio：Chiplet+HBM的复杂集成典范

Intel Ponte Vecchio（代号Raptor Cove）是Intel首个大规模Chiplet架构GPU，展示了Chiplet与HBM融合的最高复杂度：

• Chiplet组成：47个tile（小芯片），包括：
  • 16个计算tile（Xe-HPC内核）
  • 8个RAMBO cache tile
  • 11个连接tile（Xe Link）
  • 8个HBM tile
  • 2个基础tile
  • 2个介质tile
• HBM配置：8颗HBM2e堆叠，总容量128GB，总带宽约3.3TB/s
• 封装技术：EMIB + Foveros多层2.5D+3D混合封装
• 互连方式：通过EMIB在有机基板上实现HBM与计算tile的2.5D互联

Ponte Vecchio的设计表明，大规模Chiplet架构中HBM的管理比单片设计中复杂得多——需要协调多个中间层、多种封装技术、多条互联协议。

AMD MI300X：APU架构的HBM集成

AMD Instinct MI300X是另一种Chiplet+HBM的融合范式：

• Chiplet组成：13个chiplet，包括
  • 6个CDNA 3计算chiplet（基于5nm）
  • 8颗HBM3堆叠（6层堆叠）
  • I/O die
• HBM配置：8颗HBM3，总容量192GB，总带宽5.3TB/s
• 封装：台积电CoWoS 2.5D封装

MI300X的独特之处在于其APU（Accelerated Processing Unit）设计理念——将CPU和GPU通过高速Infinity Fabric互联在同一个封装内。CPU和GPU共享HBM内存池，实现了统一的内存地址空间，简化了编程模型。

NVIDIA Blackwell B200：Chiplet设计的新高度

NVIDIA最新的Blackwell B200 GPU代表了Chiplet+HBM融合的最新进展：

• 双Die设计（GPU核心拆分为两个chiplet）
• 每个Die独立连接HBM堆叠
• Die间通过NV-High Speed Interconnect实现10TB/s的片间带宽
• 总HBM容量192GB，带宽8TB/s

B200是NVIDIA首次在数据中心GPU上采用Chiplet架构，标志着业界最大规模GPU设计也开始拥抱Chiplet路线。

4.5.6 HBM在Chiplet架构中的角色演变

在Chiplet架构的发展历程中，HBM的角色正在从配套组件演变为核心基础设施：

第一阶段（当前）：HBM作为计算chiplet的"外挂存储"

• HBM通过硅中介层与计算chiplet互联
• 计算chiplet内部集成的内存控制器直接管理HBM通道
• 类似传统SoC中CPU与DDR的关系，只是物理距离更近

第二阶段（演进中）：HBM作为可组合的内存资源池

• 同一封装内可能存在多个计算chiplet和多个HBM chiplet
• 通过片上网络（NoC）或CXL协议实现计算chiplet对任意HBM资源的访问
• 内存容量和带宽可以根据工作负载动态分配

第三阶段（未来愿景）：HBM与计算chiplet的深度融合

• PIM（Processing-in-Memory）技术将轻量级计算逻辑嵌入HBM逻辑层
• 计算-HBM紧密耦合的专用chiplet，面向特定AI计算模式优化
• 3D堆叠可能实现计算die与HBM die的垂直堆叠，极致缩短互联路径

4.5.7 面临的挑战与展望

Chiplet与HBM融合面临以下关键挑战：

1. 封装复杂度与成本：Chiplet架构大幅增加了封装的复杂度。多die的设计、制造、测试和组装需要精密的协调。封装良率是当前最大的成本变量。

2. 互连带宽瓶颈：虽然Chiplet间互联速度在持续提升（NV-HSI已达10TB/s），但与单Die内部互联相比仍有差距。计算工作负载的Die间数据搬运会消耗宝贵的互联带宽。

3. 热管理：Chiplet封装中多个die的热量汇聚，HBM堆叠的热阻又较高。设计高效的散热路径（尤其是3D堆叠方案）是一个重大工程挑战。

4. 软件生态适配：Chiplet架构需要软件开发者理解和管理Die间的数据分布和通信。目前的主流深度学习框架（PyTorch、TensorFlow等）主要面向单片GPU设计，对多Die Chiplet架构的优化支持仍在发展中。

5. 标准化程度不足：Chiplet间互联和内存访问的标准化仍在推进中，不同厂商的方案差异较大，影响了生态系统的统一发展。

展望未来，HBM与Chiplet的融合将继续深化。随着UCIe、CXL等标准的成熟，以及3D封装技术的进步，HBM将从计算芯片的"附属品"进化为Chiplet系统中平等的、可组合的、共享的基础设施组件。这种融合将重塑数据中心的计算架构，为AI和HPC提供更高性能、更灵活的资源组织方式。