大模型训练框架（二）FSDP

文档摘要

大模型训练框架（二）FSDP Fully Sharded Data Parallel (FSDP)1 是一种数据并行方法，最早是在2021年由 FairScale-FSDP 提出的，并在后续被集成到了 PyTorch 1.11 版本中。 FSDP 可以看作是微软 Deepspeed 框架中提出的三种级别的 ZERO 算法中的的实现。它通过将模型的梯度、优化器状态和参数进行分片操作，使得每个 GPU 只存储部分参数信息，从而优化了资源的利用和提高了训练效率。此外，FSDP 也与包括 Tensor 实现、调度器系统和 CUDA 内存缓存分配器在内的几个关键 PyTorch 核心组件紧密协同设计，以提供非侵入式用户体验和高训练效率。