4.3 共轭梯度法与Krylov子空间

文档摘要

4.3 共轭梯度法与Krylov子空间 4.3 共轭梯度法与Krylov子空间：从几何直觉到算法实践线性代数的殿堂里，有些方法如静水深流，表面平缓，内里却蕴藏着惊人的能量。共轭梯度法（Conjugate Gradient Method, CG）正是如此——它诞生于1952年，由Hestenes与Stiefel两位学者提出，初衷是为了解决对称正定线性系统 $Ax = b$ 的高效求解问题。然而，在随后几十年的发展中，它不仅没有被时代淘汰，反而在大规模科学计算、图像处理、机器学习优化等领域焕发新生，成为现代数值计算不可或缺的核心工具之一。它的魅力，不仅在于收敛速度的优雅，更在于其背后深刻的数学结构：Krylov子空间理论。