文档摘要

4.3 动量型优化器 4.3 动量型优化器 动量型优化器（Momentum-based Optimizers）是一类旨在加速学习，特别是克服局部极小值和高原期问题的优化算法。它们的核心思想是模拟物理学中的动量概念，将之前的梯度信息纳入当前更新的计算中，从而使优化过程具有“惯性”，能够更平滑地穿越搜索空间。 4.3.1 动量思想的引入 传统的梯度下降法在遇到狭长的山谷地形时，容易在两侧震荡，导致收敛速度缓慢。 会员。《4.3 动量型优化器》收录于灏天文库文集《神经网络优化技巧：激活函数、损失函数、优化器选择》，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。文档编号22507。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---