4.3 动量型优化器

文档摘要

4.3 动量型优化器 4.3 动量型优化器动量型优化器（Momentum-based Optimizers）是一类旨在加速学习，特别是克服局部极小值和高原期问题的优化算法。它们的核心思想是模拟物理学中的动量概念，将之前的梯度信息纳入当前更新的计算中，从而使优化过程具有“惯性”，能够更平滑地穿越搜索空间。 4.3.1 动量思想的引入传统的梯度下降法在遇到狭长的山谷地形时，容易在两侧震荡，导致收敛速度缓慢。这是因为梯度下降只考虑了当前位置的梯度方向，而忽略了之前的梯度信息。动量型优化器通过引入一个动量项，记录之前的梯度信息，并将其与当前梯度相结合，从而减缓震荡，加速收敛。可以将其想象成一个球从山上滚下来，它不仅受到当前坡度的影响，还受到自身惯性的影响。 4.3.