第三章 · 进阶原理:GPU透传与隔离的本质


文档摘要

第三章 · 进阶原理:GPU 透传与隔离的本质 第二章我们做到了「容器里能看到卡、能跑模型」。但一个负责任的作者不会让你停在「能用就行」——本章要回答:它为什么能用?以及,当多人多任务共用一台八卡机器时,怎么保证彼此不抢、不崩? 这一章是整本教程的「原理脊梁」。把机制讲透,你才能在出问题时快速定位,而不是对着报错盲猜。 本章你将带走什么 读完本章,你应能解释「容器无 GPU 驱动却能跑 Cuda」的完整链路,并会用 cgroup 与 MPS/MIG 等手段做 GPU 资源的软硬隔离,避免一个实验拖垮整台机器。 3.

第三章 · 进阶原理:GPU 透传与隔离的本质

第二章我们做到了「容器里能看到卡、能跑模型」。但一个负责任的作者不会让你停在「能用就行」——本章要回答:它为什么能用?以及,当多人多任务共用一台八卡机器时,怎么保证彼此不抢、不崩?

这一章是整本教程的「原理脊梁」。把机制讲透,你才能在出问题时快速定位,而不是对着报错盲猜。

本章你将带走什么

读完本章,你应能解释「容器无 GPU 驱动却能跑 Cuda」的完整链路,并会用 cgroup 与 MPS/MIG 等手段做 GPU 资源的软硬隔离,避免一个实验拖垮整台机器。

3.1 节预告:nvidia-container-toolkit 工作原理

拆解容器运行时(runc/containerd)在创建容器时,toolkit 如何借助 NVIDIA_VISIBLE_DEVICES、CDI(Container Device Interface)把宿主的 /dev/nvidia* 设备与用户态驱动库挂载进容器;讲清「驱动在宿主、库在容器」的分工,以及为什么容器 Cuda 版本不能高于宿主驱动。

3.2 节预告:显存与算力的隔离策略

多任务场景下,三种隔离粒度:进程级(MPS 多进程服务,共享上下文省显存)、硬件级(MIG 把一张卡切成多实例)、以及容器级 cgroup 限制。本节对比三者适用场景与配置要点,并给出「小团队共用训练机」的推荐组合。

原理讲完,下一章我们把它落到真实案例上。


发布者: 作者: 转发
评论区 (0)
U