文档摘要

4.1.3 流水线并行 (Pipelining) 4.1.3 流水线并行（Pipelining）：别让“气泡”在GPU里空转三毫秒——一个被忽略的micro-batch调度陷阱与零拷贝重叠修复方案 你有没有试过这样一种场景： 模型参数量涨到12B，用8张A100做流水线并行， ，每张卡分到3层；训练吞吐看着体面——128 tokens/sec，loss曲线也平滑；… 会员。《4.1.3 流水线并行 (Pipelining)》收录于灏天文库文集《高性能计算 (HPC) 与并行计算》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号32069。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---