文档摘要

7.4 分布式训练 本节摘要：数据太大、模型太大,单卡扛不动,就要把训练铺到多卡/多机上。本节讲数据并行与模型并行两条主要路线，配上梯度同步与混合精度的配套,让你理解分布式训练到底并行的是什么、要付出什么协调成本。 动手前先分清你卡在哪个瓶颈 阅读完本节，你应当能够： 说清数据并行与模型并行的分工与适用边界。 解释梯度同步这类并行里的协调成本从哪来。 知道混合精度如何在不伤精度下把分布式跑得更快。 会员。《7.4 分布式训练》收录于灏天文库文集《模型训练与调参指南：提高模型性能的秘诀》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/492-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E4%B8%8E%E8%B0%83%E5%8F%82%E6%8C%87%E5%8D%97%E6%8F%90%E9%AB%98%E6%A8%A1%E5%9E%8B%E6%80%A7%E8%83%BD%E7%9A%84%E7%A7%98%E8%AF%80

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流