全网最全的神经网络优化器optimizer总结

文档摘要

（也许是）全网最全的神经网络优化器optimizer总结前一段时间，我想搞清楚优化器的发展脉络，试图了解从梯度下降到现在最常用的AdamW的发展。但搜索了很多资料，都没找到一个全面的总结。所以我决定自己整理一份，希望能帮助到大家。 optimizer负责在训练过程中更新模型的参数, 目的是通过调整参数来最小化损失函数，即模型预测和实际数据之间的差异. alt text 文章链接神经网络的优化器（一）综述神经网络的优化器（二）SGD 神经网络的优化器（三）Momentum 神经网络的优化器（四）ASGD 神经网络的优化器（五）Rprop 神经网络的优化器（六）AdaGrad 神经网络的优化器（七）AdaDeleta 神经网络的优化器（八）RMSprop 神经网络的优化器（九）Adam