Chapter8.Nesterov

文档摘要

第8章 Nesterov 加速算法 &emsp;&emsp;Nesterov加速方法的基本迭代形式为： $$ \begin{aligned} v{t} &=\mu{t-1} v{t-1}-\epsilon{t-1} \nabla g\left(\theta{t-1}+\mu{t-1} v{t-1}\right) \\ \theta{t} &=\theta{t-1}+v{t} \end{aligned} $$ &emsp;&emsp;和动量方法的区别在于二者用到了不同点的梯度，动量方法采用的是上一步 $\theta{t-1}$ 的梯度方向，而Nesterov加速方法则是从 $\theta{t-1}$ 朝着 $v{t-1}$ 往前一步。