第四章 · 实战案例：把真实模型塞进沙箱

第四章 · 实战案例：把真实模型塞进沙箱

原理讲得再漂亮，也要落到能跑的东西上。本章用两个端到端案例，把你前面学的骨架与原理串成可交付的产物。

我们刻意选了两类最常被问到的需求：一是「我想本地起一个开源大模型对话服务」，二是「我想把训练任务标准化、可排队、可复现」。两者正好覆盖推理与训练两大场景。

本章你将带走什么

读完本章，你将拥有两个开箱即用的实战模板：一个本地大模型推理沙箱（含 Web 服务与资源限流），一个可复现的分布式训练沙箱（含数据卷、多卡编排、日志归集），直接改参数就能套用到自己的项目。

4.1 节预告：本地大模型推理沙箱（以 Qwen/LLaMA 为例）

从拉取镜像、挂载模型权重、暴露推理端口，到用 vLLM 或原生 transformers 起服务；重点讲显存估算（模型参数规模 vs 量化档位 vs 可用显存）、以及用 compose 的 deploy.resources 给推理容器限流，防止把整台机器显存吃满。

4.2 节预告：可复现的训练任务沙箱

聚焦「复现」二字：训练代码、依赖、数据、随机种子全部版本化进沙箱；用多卡 torchrun 在 compose 中编排；讲清数据卷与缓存目录的挂载约定，以及训练中断后如何用同一镜像无缝续跑。

最后一章，我们做总结与展望。