2.3 高速互联网络 (Interconnects)

文档摘要

2.3 高速互联网络 (Interconnects) 在超大规模并行计算系统中，处理器核与内存单元早已不是瓶颈；真正决定整台超级计算机“呼吸节奏”的，是那些穿行于机柜之间、芯片之下的高速互联网络——它们不发声，却掌控着每纳秒的数据命脉；它们不显眼，却在每一次AllReduce操作中悄然决定着训练大模型的收敛速度。你见过一台峰值算力达100 PFlops的AI训练集群，在运行LLaMA-3 70B分布式推理时，通信开销竟占端到端延迟的68%吗？这不是理论推演，而是我们在某国家级智算中心实测的Top-of-Rack交换机流统计结果。当计算单元已逼近物理极限，互联网络便不再是“配角”，而成为整个体系结构中最具战略意义的第一类基础设施。