1.1.2 并行计算 (Parallel Computing) 与分布式计算的辨析

文档摘要

1.1.2 并行计算 (Parallel Computing) 与分布式计算的辨析我们常在深夜的监控告警声里，第一次真正理解“并行”与“分布式”的分水岭——不是教科书上那句“并行强调共享内存，分布式依赖消息传递”，而是当你的 PyTorch DataParallel 模型在 8 卡 A100 上训练速度不升反降，而同事用 torch.distributed.launch 启动的 DDP 作业却稳稳吃满显存带宽；是当你把 Spark 的改成，作业耗时从 42 秒跳到 3.7 分钟；更是当你在 Kubernetes 集群里反复重启一个 “明明本地跑得飞快” 的 Ray Actor，直到在里翻出那行被截断的 …… 这些不是配置错误，不是环境问题，更不是“换个框架就好”。