文档摘要

4.4 NVIDIA H100/H200的HBM架构解析 4.4.1 NVIDIA H100 SXM：HBM3架构标杆 NVIDIA H100（代号Hopper）于2022年发布，是目前最广泛部署的AI训练加速器之一，其HBM子系统设计也是业界HBM3集成的标杆工程。 H100 SXM5版本HBM配置： HBM容量：80GB（5颗HBM3堆叠，每颗16GB） 堆叠配置：每颗HBM3包含12层DRAM die（8层活跃+4层作为缓冲层）+ 1层逻辑层（base die），共13层堆叠 总带宽：3.35TB/s（5颗×672GB/s/颗） 数据速率：4.8Gbps/pin（H100使用的HBM3为初始版本，非最高速率的6.

---