5.4.2 分布式内存并行 (Cluster Computing)

文档摘要

5.4.2 分布式内存并行 (Cluster Computing) 分布式内存并行——不是把程序“扔”到多台机器上就完事了，而是让每台机器像一支训练有素的特种作战小队，在没有共享黑板、没有中央指挥室的前提下，仅靠加密无线电和严格约定的战术手势，完成一场毫秒级协同的精准爆破。你有没有试过这样：写好一个 MPI 程序，，满怀期待地按下回车……结果发现，64 个进程里有 59 个在等第 3 号节点发来的一小段边界数据；而第 3 号节点的网卡驱动正悄悄漏掉每第 17 个 RDMA 包；更糟的是，你的调用压根没配做非阻塞预接收——整个集群，卡在了一个的黑洞里，像一列高铁停在隧道中段，所有车厢都亮着灯，却纹丝不动。