高性能计算 (HPC) 与并行计算

教程导读：高性能计算与并行计算

一句话定位：当单个处理器扛不住气候模拟、药物筛选、大模型训练这类"算不动"的问题时，答案不是造一台更快的电脑，而是把问题拆开让成千上万个计算单元协同干。这套教程讲的就是高性能计算（HPC）与并行计算——从理论极限、硬件架构、编程模型、算法设计到性能调优和落地应用。

这个教程解决什么问题

做过计算密集型任务的人大概都撞过这堵墙：单机跑一个大规模仿真，要么内存不够，要么算到天荒地老。你本能的反应是"换台更快的机器"，但很快发现，单处理器的性能早已撞上功耗墙和频率墙，摩尔定律放缓后，靠堆主频的路走到了尽头。真正能解锁更大算力的，是并行——把问题切成可协作的片，让多个计算单元同时干。

高性能计算（High-Performance Computing，HPC）和并行计算就是为这类"单机搞不定"的场景生的。但并行远不止"把任务切开分给人"这么简单。为什么有些问题天然抗拒并行化？为什么增加处理器反而可能让总耗时上升？为什么一台峰值很高的超算，跑某些实际任务时效率不到峰值的百分之几？这些问题背后，是依赖约束、通信开销、负载均衡、数据局部性这些看不见的"摩擦力"在起作用。

这套教程把 HPC 和并行计算拆成六章：先讲清基础理论（并行的本质、性能极限定律）和硬件架构（从多核到集群到超算），再进入编程模型（MPI、OpenMP、CUDA）和算法设计，接着是性能调优和软件栈集群管理，然后落到典型应用和前沿趋势；之后回到演化历史，把前面散落的概念放进硬件和软件的代际时间线，看清"为什么是这样"；最后用实战选型与排错收口。每节都配 mermaid 图、对比表和工程取舍。

适合谁读

• 科学计算与仿真工程师：做气候、流体、分子动力学、量子化学模拟，要把串行代码搬上并行平台
• AI 基础设施工程师：负责大模型训练集群，关心数据并行、张量并行、流水线并行
• 高性能后端开发者：处理大规模数据处理、实时计算，想榨干多核和集群性能
• 学生与研究者：想系统理解并行计算的理论基础和实践方法

学完你能做什么

1. 说清并行的本质（依赖约束下的协同执行）和阿姆达尔定律、古斯塔夫森定律的含义
2. 区分 SISD、SIMD、MIMD 等体系结构，以及共享内存、分布式内存、异构加速的取舍
3. 选对并行编程模型（MPI、OpenMP、CUDA），并知道各自适合什么场景
4. 设计基本的并行算法（分治、 reductions、稀疏计算），评估通信开销
5. 用性能分析工具定位并行瓶颈，做基本的调优
6. 复述 HPC 硬件五代、软件四代的演化脉络，理解当下格局怎么来的
7. 面对一个真实任务能做出软硬件选型决策，遇到常见故障能定位根因

学习路线

建议按顺序读。第 1 章建立"并行是什么、能走多远"的理论认知和硬件基础，这是后面所有内容的根基；第 2 章进入怎么写并行程序和设计算法；第 3 章讲怎么调优和管理集群；第 4 章看 HPC 在哪些领域真正落地、前沿在哪；第 5 章回到历史，把前面散落的概念放进演化时间轴，看清"为什么是这样"；第 6 章回到当下，讲实战选型和排错。每节末尾的要点回顾可当速查，附录整理了术语和性能公式。

图 HPC 六章学习全景与演化主线

怎么用这个教程

每节都配了 mermaid 图和对比表，公式和代码是概念性的，重点在于说清机理和取舍，不是可以直接跑的工程代码。读到阿姆达尔定律、通信开销模型、并行算法这些内容时，重点理解它"为什么这样"（要解决什么瓶颈、付出什么代价），而不是背公式。如果你手边有正在做的计算任务，建议边读边对照：我的任务依赖关系是什么样、数据局部性如何、该用哪种并行模型。这样读下来收获会比纯看理论大得多。

最后给一个阅读心态上的提醒：HPC 是个特别容易"一看就懂、一写就废"的领域。并行加速比、通信开销这些概念，单看定义都很直白，但真到了自己写并行程序、调性能时，瓶颈往往藏在完全想不到的地方——一个看似无害的访存模式、一次多余的隐式同步、一段没注意到的串行初始化，都能把理论上的加速吃掉大半。所以这套教程反复强调用 profiler 实测、用公式估算、再回到实测验证的闭环。读的时候不妨把"我会随时停下来想：这一步在我的真实场景里会卡在哪"当成习惯，比囫囵吞下结论有用得多。并行计算的精髓不在记住多少定律，而在建立对"摩擦力"的直觉——知道哪些地方会暗中偷走你的算力。