文档摘要

第 6 章 推理与采样 本章目标：搞懂自回归生成 + temperature + top-k 采样的实现细节。 6.1 章节地图 推理层干三件事： 6.2 生成封装类 两个关键设置： 禁用自动求导。推理时不需要反向传播，禁用后不存中间激活，显存占用大幅降低（可省 5-10 倍），速度提升（少了构建计算图的开销）。 关闭 dropout，保证推理结果确定性（除了采样本身）。 💡 这两个加在一起是推理的标配。忘任何一个都有问题：忘 nograd 显存爆；忘 eval 推理结果每次不同。 为什么封装成类 状态封装：模型、编码器、设备、配置都存在 self 上，不用每次都传一遍。 复用友好：Web UI 能持有一个实例反复调用。 接口清晰：外部只调 ，不关心内部细节。 6.

---