4.6 优化器相关挑战：局部最优、鞍点、收敛速度

文档摘要

4.6 优化器相关挑战：局部最优、鞍点、收敛速度 4.6 优化器相关挑战：局部最优、鞍点、收敛速度神经网络的训练过程本质上是一个优化问题，旨在寻找能够最小化损失函数的模型参数。然而，由于损失函数通常非常复杂且非凸，优化过程面临诸多挑战。本节将深入探讨优化器在训练过程中可能遇到的三大挑战：局部最优、鞍点以及收敛速度。 4.6.1 局部最优 (Local Optima) 定义: 局部最优是指损失函数空间中的一个点，其损失值在其邻域内是最小的，但并非全局最小。换句话说，优化器可能会陷入一个“盆地”中，无法跳出并找到更优的解。问题: 当优化器陷入局部最优时，模型训练会提前停止，导致模型性能 suboptimal。模型可能无法学习到数据的全部特征，从而影响泛化能力。