6.3 准Newton方法与信任域

文档摘要

6.3 准Newton方法与信任域 6.3 准Newton方法与信任域：在优化的迷宫中寻找优雅的捷径引言：当Newton法太“重”，我们如何轻装前行？数值优化的世界，如同一座巨大的迷宫。每一条路径都通向某个极小值点，但并非所有路径都同样平坦、高效或安全。Newton法，作为优化算法中的“贵族”，凭借其二阶收敛速度和对曲率信息的精准利用，在理想条件下几乎无往不利。然而，它的代价也令人却步——每一次迭代都需要计算并求逆Hessian矩阵 $\nabla^2 f(xk)$，这在高维问题中往往成为计算瓶颈。于是，人们开始思考：是否可以在保留Newton法收敛优势的前提下，绕开这个昂贵的计算？是否可以用某种“近似”的方式，代替真实的Hessian矩阵？答案是肯定的。