第1章 · 训练优化的全景与本质
第1章 · 训练优化的全景与本质
章节摘要：这一章跟着"训练一次是怎么发生的"这条线走——先想清楚优化到底在解一个什么问题，再把激活函数、损失函数、优化器摆上同一张天平桌。读完后你会明白，所谓"优化技巧"从来不是三个孤立的旋钮，而是三块互相牵制的配重。
一条主线
我们用一个贯穿全书的问题开场：为什么同样的网络结构，有人收敛又快又稳，有人训练一天还在原地打转？ 差别几乎总是出在这三个地方——用什么样的激活函数喂给神经元、拿什么损失函数给预测打分、派哪个优化器去搬参数。本章先把"一次训练"的完整链条摆出来，从数据进来到参数更新出去，让你看清三方分工，再解释为什么把它们摆在一张天平桌上、每一方都在平衡哪种力。
沿途站点
1.1 优化到底在解一个什么问题
从"调参数让损失变最小"这句话说起，讲清目标函数、参数空间、以及为什么聪明的程序员也要靠迭代而非解析式求最优。
1.2 激活、损失、优化器：天平的三个砝码
把三方分别映射到天平桌的刻度、它和对岸的位置，建立"每个选择都是平衡某种张力"的观察框架，为第 2 至 4 章铺路。
拐点与结论
这一章的认知拐点在于：你不会因为记不住公式而失败，却会因为看不清三者关系而反复踩坑。 一旦把"损失函数给方向、优化器给步幅、激活函数给表达能力"这三者焊成一块整体，后面所有查漏排错都有的放矢。
读完你应该
- 能说清"优化问题"的组成要素：参数、目标函数、更新规则与约束
- 能在一次前向反向的流程里指出激活函数、损失函数、优化器各自出现的环节
- 能用"平衡张力"的框架复述任一两难（如拟合与泛化、快与稳）
- 拿到一个不收敛的模型，能从这三个方向分别列出排查入口
下一章的接力
主线在第 1 章立起来之后，第 2 章先从第一个砝码讲起：给网络注入非线性的函数，为什么它的曲直直接决定了后续优化器的日子好不好过。
下面这张 SVG 把"一次训练"的循环链路和三要素的位置画清楚。
💡 本章金句：别急着调优，先想清楚你在平衡哪两股力。 多看一步"这个损失、这个激活、这个优化器各想把天平往哪端掰"，你就已经比大多数死记参数的人领先了。
从现在开始，书里的每一章都可以用同一个动作去读：遇到一个新的选择，先问它想平衡哪两股力，再看它有没有配好对应的平衡点。 第 2 章给的是表达力那端怎么选、第 3 章给刻度那端怎么定、第 4 章给出手的手感，第 5 章把这些连同外部按钮一次性装成整机，第 6 章再把散落的心法收成一句话。你若把"天平"这个手势记牢，后面读到的许多术语都会变成"原来它是在帮我在这对力度之间找个折中"，而不再是一串陌生名词的堆积。
本章的知识点清单
读完第 1 章，你应该能逐条确认下面这些能力，而不是只"见过"它们：
- 能说清优化问题的四要素：参数、目标函数、更新规则，以及约束（第 1.1 节）。
- 能解释为什么深度学习必须靠迭代逼近而非解析求解（第 1.1 节）。
- 能指出一次训练中，激活函数、损失函数、优化器各自出现的环节（第 1.2 节）。
- 能用"平衡张力"的框架，复述拟合与泛化、快与稳这两对矛盾（第 1.1 节）。
- 能根据训练日志的"症状"初步判断卡在三个砝码中的哪一个（第 1.2 节）。
如果你对中间某条仍没把握，请回读对应小节再往下走——第 2–6 章都默认你已经建立这张"天平地图"。