8.2.3 CPU/GPU 占用平衡策略

文档摘要

8.2.3 CPU/GPU 占用平衡策略在深度学习训练与高性能推理的战场上，CPU 和 GPU 从来不是并肩作战的战友，而更像一对彼此试探、时而协作、时而掣肘的“战略伙伴”。你见过这样的场景吗？GPU 利用率长期徘徊在 30%～40%，nvidia-smi 显示显存已占满，但却提示；与此同时，里几个 Python 进程的 CPU 占用率飙到 900%（8 核全满），显示大量时间耗在和上——这不是模型太慢，而是数据管道在“窒息式”拖拽 GPU 的呼吸节奏。这正是我们今天要亲手解剖的症结：CPU/GPU 占用失衡。它不显山露水，却悄然吞噬着 40% 以上的端到端吞吐；它不报错，却让一张 A100 的价值缩水成两块 3090；