第四章 共轭梯度法 (Conjugate Gradient method) 4.1 背景   共轭梯度法(Conjugate Gradient method, CG)是求解稀疏对称正定线性方程组的最流行和最著名的迭代技术之一,最早由 Hestenes & Stiefel 于 1952 年提出,用于求解具有正定系数矩阵的线性方程组的迭代方法。   随后,Flecher & Reeves 于 1964 年引入了第一个非线性共轭梯度法,用与解决大规模非线性优化问题。经过几十年的发展,已经有了许多基于该初始方法的变体,其中一些在实践中被广泛使用。这些算法的特点是它们不需要矩阵存储并且比最速下降法更快。