chapter5.拟牛顿法

文档摘要

拟牛顿法来使用优化算法 optimtool源码牛顿法 &emsp;&emsp;牛顿法在理论上和实践中均中均取得很好的效果。对于二次连续可微函数 $f(x)$ ，考虑 $f(x)$ 在迭代点 $x^k$ 处的二阶泰勒展开： $$ f(x^k+d^k)=f(x^k)+\nabla f(x^k)^T d^k + \dfrac{1}{2}(d^k)^T \nabla^2 f(x^k)d^k + o(||d^k||^2) \tag {1.1} $$ 我们的目的是根据这个二阶近似来选取合适的下降方向 $d^k$ 。如果忽略上式中的高阶项，并将等式右边看成关于 $d^k$ 的函数求其稳定点，可以得到： $$ \nabla^2 f(x^k)d^k = -\nabla f(x^k) \tag {1.