08.网络优化算法

文档摘要

网络优化深度学习中的优化算法在这里建立了基于梯度的优化算法的基本分析框架，并讨论了它如何应用在深度学习中。 Gradient descent 1. Formalizing the Taylor Expansion Descent lemma for gradient descent Stochastic gradient descent Accelerated Gradient Descent Local Runtime Analysis of GD Pre-conditioners 梯度下降（GD）假设我们现在想要找出一个多元连续函数 ![[公式]](https://www.zhihu.com/equation?tex=f%28%5Comega%29) 的最小值 !