神经网络的优化器（三）Momentum

文档摘要

每天3分钟，彻底弄懂神经网络的优化器（三）Momentum 前面从最初的SGD开始，介绍SGD的算法细节，以及其在深度神经网络中的劣势，本文引入Momentum算法，解决SGD的一些问题。 Momentum算法的提出动量（Momentum）方法最初由B.T.Polyak在1964年提出。这一方法被用来加速梯度下降算法的收敛，特别是在处理具有较大条件数的优化问题时。B.T.Polyak在论文《Some methods of speeding up the convergence of iteration methods》[1]中描述了这一方法，这篇论文发表在了《USSR Computational Mathematics and Mathematical Physics》上。