4.5 项目里该怎么挑优化器

4.5 项目里该怎么挑优化器

本节摘要：把 SGD、动量、AdaGrad、RMSProp、Adam 放进一个可执行的决策流程：第一步"先默认 Adam"跑基线，第二步"遇到不理想再换成 SGD+动量"精修。本节给全流程的信号判断、参数初值、以及换优化器时的配套调整。

前面三节把优化器家族介绍全了。这一节不让你做选择困难，直接给一套能用的决策流程。核心思想是两阶段：先用省心的 Adam 快速看到结果，再用一个精修策略（通常是调好的 SGD）逼近上限。

一、第一选择往往不是最先进，而是最省心

拿到一个新任务，我几乎不会一上来就比谁收敛分更高，而是先要一份"能跑通、能看到曲线在下滑"的基线。这个位置 Adam 最合适：

• 自带动量与自适应，对学习率的猜测容错高，0.001 基本能起步。
• 收敛快、曲线平滑，早期能快速暴露"数据有没问题、模型搭没搭对"。
• 不用为了配一堆参数分散判断力。

一句话：先用 Adam 把目标的"地雷"趟平，而不是一上来就追求调参到炉火纯青。

二、什么情况要逃离 Adam

基线跑通后，若你遇到下面任何一种信号，就该考虑切换：

1. 泛化不理想：验证损失该降时却不降，测试指标与训练差太多 → 换调好的 SGD+动量，让它收敛到更平坦的解。
2. 内存受限：模型参数过多，Adam 的二、三阶矩让显存紧张 → 退回 SGD，省内存。
3. 研究可复现性：需要稳定复现某篇结果，其原文用的是特定 SGD 配置 → 跟着原文走。

切换的关键不是"选错弃"，而是知道你要的是"快速探路"还是"精调上限"，两者各自有主。

三、一套可照抄的决策表

把这套逻辑写成表，直接按行走：

四、换优化器不止换名字——要一起调的三件事

很多人只在代码里把 optimizer 那个参数改了，其他一概不动，然后抱怨"换了没用"。其实换优化器，学习率几乎必须跟着动（Adam 默认 1e-3 ↔ SGD 大概 1e-2 量级差一个量级）；动量、批大小、正则也经常连坐。正确的做法是：换优化器时，把它当"重新装配一台车"而不是"换个引擎盖贴纸"。

# 概念片段：示意"换优化器 = 重新配一套关键参数"
def pick(optimizer_name):
    if optimizer_name == "Adam":
        return dict(lr=1e-3, betas=(0.9, 0.999))
    elif optimizer_name == "sgd":
        return dict(lr=1e-2, momentum=0.9)
    return dict(lr=1e-3)
​

五、两个真实走向

项目 A（生产图像分类，要求稳定）：用 Adam 基线跑通后，换 SGD+动量精修，最终在验证集上比 Adam 高 0.8 个点，且内存更低。这个成本是学习率从 1e-3 改到 1e-2 的来回试验。

项目 B（语言模型，跑不了太久）：直接用 Adam + 学习率调度，把省下来的调参时间都花在数据清洗上，效果就够上线。

两个项目分别回答了"精调"与"省心"两条路，你根据资源与指标优先级选。

💡 关键直觉：优化器选型不是一次性的"终极答案"，它往往是一个"先用谁探路 → 再换谁精修"的两步动作。把"省心"与"上限"分开想，你的选择就清晰了。

六、用"验证损失曲线"读要不要切

要不要从 Adam 换成 SGD+动量，最好不看感觉、而看曲线。给出两张常见的判别画面：

• 画面 A：训练损失一路降、验证损失也一路降，只是后面缓下来。这是"正常收敛到平台"，不急着切换——你需要的往往只是 5.1 的调度来推最后一把。
• 画面 B：训练损失降得很低、验证损失却在某点反弹且差距拉大。这更像"过拟合"，多去翻正则（5.2），而不是急着换优化器。
• 画面 C：训练损失稳降、验证损失也一直在降，但测试指标始终差一截。这时候"试试换 SGD 精修"才值得投入算力。

换句话说，换优化器是"我在意最终泛化上限"时的战术，而不该是"不知道怎么办"时的第一反应。 先把画面归因，再动引擎。

七、一个"从省心换到精修"的完整账

假设你手上是个图像分类，Adam 1e-3 已经跑到验证 78%。要冲到 80%，你决定试 SGD+动量。这笔账要算清楚，别以为只换一行：

1. 学习率：从 1e-3 大概率要上探到 1e-2 附近（差一个量级），你可以先 5e-3 试。
2. 动量：0.9 起步，一般不用动。
3. 调度：SGD 对学习率敏感，几乎必配一个余弦或步进衰减（见 5.1），否则后段步幅太粗。
4. 正则：如果之前是给 Adam 配的 Dropout 强度，换 SGD 后通常可以稍微松一档，让它更有 capacity 去精修。

你会看到，真正的成本不是"换名字"那一下，而是这一整套参数的重新磨合。能接受这个成本、指标压力也够大，才值得走；若只是"想看起来更正规"，那 Adam 就够。

八、给"内存受限"场景补一刀

SGD 比 Adam 省内存，是因为它不需要维护一阶、二阶矩这两份和参数等大的状态。参数上亿的模型、或显存卡得厉害时，这个差距是实打实的——同样的显存，SGD 能多进一批数据，或用更大的 batch。这也是为什么大规模训练里 SGD、及其稀疏或融合变体（Adafactor / LAMB 一类）仍有一席之地。省内存不是玄学，是一份"参数 × 2"的状态账，在预算吃紧时能换算成实打实的吞吐。

本节要点回顾

• 先省心后精修：Adam 探路，必要时 SGD+动量精调上限。
• 逃离信号明确：泛化不理想 / 内存紧张 / 需复现原文时切换。
• 换优化器 ≠ 改一行：学习率、动量、批大小、正则要连坐微调。
• 决策表照抄：基线 Adam 1e-3，精修 SGD 1e-2 量级 + 动量 0.9。
• 省心 vs 上限：资源受限选省心，指标至上可精修。

优化器的方法论讲完了，还差一关悬而未决：那些"躲不过"的地形难题。下一节就是压轴的兜底难题——局部最优、鞍点、收敛速度。