第4章 · 优化器：谁来推动参数的步伐

第4章 · 优化器：谁来推动参数的步伐

章节摘要：这一章跟着"搬砝码的手怎么把参数一步步推进谷底"这条线走。从梯度下降的三类步法讲到动量注入惯性，再到自适应学习率让每根参数各走各的，最后落到选型与调优、以及局部最优鞍点收敛速度这些硬骨头。读完后你面对"用哪个优化器"不再拍脑袋。

一条主线

天平表达力的砝码（第 2 章）和刻度（第 3 章）都放好了，现在盯住搬砝码的手——优化器。这一章的主线是从原始梯度下降开始，每遭遇一个痛点就升级出下一代方法：梯度下降太慢稳定差 → 动量给它加惯性 → AdaGrad/RMSProp 让各参数自行调步 → Adam 把惯性与自适应合流。沿着这条演化链走，你不但记住每个优化器，更能理解它们为什么长这样。

沿途站点

4.1 优化器的角色与核心命题

把优化器这家伙抽象成"沿梯度降得快又稳"的求解器，讲它面对的核心命题。

4.2 梯度下降的三种步法

批量、随机、小批量三兄弟，各自快慢与稳定性的取舍。

4.3 动量：给下山加一点惯性

用一个滚动球的直觉讲清动量如何缓解震荡、加速平滑行进。

4.4 自适应学习率：让每根参数各走各的

从 AdaGrad 的单调收缩讲到 RMSProp 的指数衰减，再到 Adam 把动量与自适应合流。

4.5 项目里该怎么挑优化器

把前面三章方法放进一个决策流程：何时用 SGD、何时用 Adam。

4.6 兜底难题：局部最优、鞍点与收敛速度

面对不可控的损失地形，哪些坑是现实存在的，哪些其实不必过度担心。

拐点与结论

这一章的认知拐点在于：优化器的进化史就是"给梯度下降打补丁"的历史。 每次我们看到一个新名字，其实都在补上一个旧痛点——动量补震荡、自适应补学习率不可调。理解了这一点，Adam 作为"动量 + 自适应"的集大成者成为默认选项，就是水到渠成的事。

读完你应该

1. 说清优化器在训练链条里的职责，以及"快与稳"这对核心矛盾
2. 区分批量、随机、小批量三种梯度下降的步法与代价
3. 复述动量、AdaGrad、RMSProp、Adam 的演化逻辑与各自修了哪个坑
4. 为具体项目给出优化器与学习率的合理初值，并解释理由
5. 对局部最优、鞍点说出哪些慌是多余的、哪些该认真对待

下一章的接力

三要素（第 2–4 章）都放上天平了，第 5 章把它们装成整机——学习率调度、正则化、梯度裁剪、超参数调优，一次组装完成为可跑的策略。优化器在这台机器里是发动机，第 5 章是整车调校。

下面这张 SVG 把优化器从 SGD 到 Adam 的演化时间线画出来，一眼看清每个新来者的补丁补在哪里。

再给一张 mermaid 全景确认各方法归属。

沿途主线：4.1 优化器在解什么 → 4.2 三种步法 → 4.3 动量加惯性 → 4.4 自适应各走各的 → 4.5 怎么挑 → 4.6 兜底难题。

本章的知识点清单

读完本章，请对照确认你能逐条做到：

• 说清优化器解的是"沿负梯度把损失降到尽量小"的无约束最优化问题（4.1）。
• 区分批量、随机、小批量三种梯度下降的更新频率与稳定性（4.2）。
• 用"惯性 + 抵消震荡"复述动量，知道 β 约 0.9、Nesterov 是它的进阶变体（4.3）。
• 复述 AdaGrad 单调收缩→RMSProp 加遗忘→Adam 合流的演化逻辑（4.4）。
• 给具体项目排出"先用 Adam 探路、必要时换 SGD 精修"的选型（4.5）。
• 分清局部最优、鞍点与收敛速度各自在深层里的真实地位（4.6）。

如果逐条确认下来有卡壳，优先回读对应那一节再去第 5 章。

章内小结

优化器是天平上"搬砝码的手"。看懂了梯度下降的三步法、动量与自适应的演化，你就掌握了"每个方法补了哪个坑"这把钥匙，而不是记一串孤立函数名。手怎么搬、搬多稳，正是下一章把它们装成整车时要反复调节的对象。