1.3.2 负载不均衡 (Load Imbalance) 的成因

文档摘要

1.3.2 负载不均衡 (Load Imbalance) 的成因 1.3.2 负载不均衡（Load Imbalance）的成因：当“均匀划分”变成“均匀假象”——一个 MPIAlltoallv 中隐匿十年的索引错位故障实录你有没有试过这样调试：明明用把数据按行数均分给 32 个进程，每个进程本地计算耗时也差不多；明明的全局同步开销被压到毫秒级；可整套并行程序在 64 核上跑得比 16 核还慢——不是慢一点，是慢 2.7 倍。你查，发现 31 个核 CPU 利用率 98%，剩下一个卡在 12%；你插打点，发现 31 个进程在里齐刷刷耗时 412ms，唯独 rank 0 耗时 1103ms；你加，输出赫然写着： ——就差那 1 个元素。