第 5 章 · 网(二)：机柜间组网与 SuperPoD 扩展

第 5 章 · 网(二)：机柜间组网与 SuperPoD 扩展

本章要回答的核心问题：单机柜装不下万亿参数，必须把成百上千个机柜连起来——但机柜之间的网络要怎么设计，才能让跨柜通信不至于拖垮整个训练？

章节摘要

第 4 章解决了机柜内的全互联，本章解决机柜间的组网。本章先建立"无损网络"的基础概念——为什么 AI 训练流量要求网络"不丢包"，以及 RoCE、PFC、ECN 这些机制如何实现无损；然后分别看 NVL72 如何用 InfiniBand/无损以太网向东扩展（含轨道优化 Rail-aware 设计），以及昇腾 SuperPoD 如何用 HCCS+无损网络分层组网构建数千卡集群；最后讲集合通信库如何与物理拓扑协同，把"软件层通信意图"高效映射到"硬件层网络拓扑"。读完本章，你将理解一台 SuperPod 级集群是如何被组织起来的。

学习目标

• 理解无损网络的基础概念（RoCE、PFC、ECN、fat tree）。
• 掌握 NVL72 机柜间扩展的轨道优化思想。
• 掌握昇腾 SuperPod 的分层组网架构。
• 理解集合通信库与物理拓扑的协同关系。

本章子章节关系

本章按"基础→平台→协同"展开。第 5.1 节讲无损网络这个两大平台共同依赖的技术基础；第 5.2、5.3 节分别看 NVL72 和昇腾 SuperPod 如何在它之上构建各自的组网架构；第 5.4 节上升到软件层，看集合通信库如何让通信意图与物理拓扑匹配——这是把"网"用好而非仅仅"连起来"的关键。本章与第 4 章共同构成完整的"网"两章。

5.1 scale-out 组网与无损网络(共同基础)
        │
   ┌────┴────┐
   ▼         ▼
5.2 NVL72     5.3 昇腾SuperPoD    ←─ 两种组网
机柜间扩展      分层组网
   │              │
   └──────┬───────┘
          ▼
   5.4 集合通信库与拓扑协同      ←─ 软硬件协同
​

Spine-Leaf fat tree + SuperPoD 分层组网

下面这张 Mermaid 图把两大平台的机柜间组网拓扑并排画出。左侧是典型的 Spine-Leaf（脊叶）fat tree 拓扑，右侧是 SuperPod 的分层结构。

💡 如何读这张图：左边的 Spine-Leaf 是经典的无阻塞组网拓扑，配合"轨道优化"把同轨 GPU 的通信限制在单层 Leaf，降低延迟；右边的 SuperPod 是分层结构，超节点内靠 HCCS，超节点间靠汇聚层和核心层做大规模聚合。两者都是为了让跨柜通信尽量不拖垮训练。

本章导览

本支柱页是第 5 章的入口，正式内容由四个子章节展开：

• 子章节 5.1 · scale-out 组网与无损网络基础：RoCE、PFC、ECN、fat tree。
• 子章节 5.2 · NVL72 的机柜间扩展：Spine-Leaf、轨道优化 Rail-aware。
• 子章节 5.3 · 昇腾 SuperPod 的组网架构：HCCS+以太/IB 分层、超节点扩展。
• 子章节 5.4 · 集合通信库与拓扑协同：通信库与物理拓扑的匹配。

建议按 5.1 → 5.2 → 5.3 → 5.4 顺序阅读。本章结束后，"网"两章就完整了，从第 6 章开始进入"体"。

本章小结

• AI 训练流量对丢包零容忍，必须用无损网络（RoCE + PFC + ECN）和 fat tree 拓扑。
• NVL72 用 Spine-Leaf + 轨道优化，让同轨 GPU 通信只走一层 Leaf；昇腾用超节点+分层汇聚构建 SuperPod。
• 集合通信库（如 NCCL/HCCS 通信库）负责把软件层通信意图映射到物理拓扑，是用好网络的关键。

本章关键词：InfiniBand、RoCE、无损网络、SuperPoD、scale-out 组网、轨道优化、集合通信库　上一篇：第 4 章　下一篇：第 6 章 · 体(一)：机柜物理组成与供电设计