第二章 线性系统的数值现实

第二章 线性系统的数值现实

章节摘要：本章跟着一条主线走——同一个方程组 Ax 等于 b，为什么有时解得毫发无损，有时全军覆没。我们沿着"分解、定罪、修复"的路线推进：先看直接法如何在浮点世界里小心翼翼地消元，再让条件数出庭作证，最后用迭代法处理大到直接法啃不动的稀疏案件。

一条主线

线 性方程组是科学计算的第一案发地：有限元离散后的刚度矩阵、电路分析的节点方程、机器学习里的最小二乘正规方程，最终都归结为解 Ax = b。主线是一个贯穿案例——希尔伯特矩阵，一个看起来人畜无害、实则条件数指数爆炸的对称正定矩阵。围绕它，我们要回答三个递进的问题：直接法（LU、Cholesky）内部发生了什么让误差可控？条件数如何定量判决"这案子能不能破"？当矩阵大到存不下 LU 分解时，共轭梯度这类迭代法凭什么接管？

沿途站点

• 2.1 LU 与 Cholesky 分解：直接法现场勘查。部分主元消元为什么必要、Cholesky 如何把对称正定问题的成本减半、为什么不要求逆矩阵。
• 2.2 范数、条件数与残差的证词：法庭环节。三种向量范数的差别、条件数与误差放大倍数的定量关系、为什么小残差不等于小误差，以及"迭代改进"这根救命稻草。
• 2.3 共轭梯度与 Krylov 子空间：大案专场。稀疏矩阵的存储现实、共轭梯度法的收敛行为、预处理技术如何把条件数打下来。

拐点与结论

本章的认知转折点是学会区分三个不同的数：残差（Ax-b 的范数）、后退误差（数据被扰动了多少的等效解释）、前进误差（x 与真解的距离）。新手只看残差，法庭只认后退误差，而用户关心的其实是前进误差——三者之间靠条件数连接。理解了这个三角关系，你面对"求解器说已收敛但结果不对"时就不会手足无措。

读完你应该

• 能解释部分主元选取对 LU 稳定性的作用，并演示无主元消元翻车的例子
• 能计算或用库估计矩阵条件数，并据此推算解的相对误差上限
• 能用残差与条件数共同撰写一份"解的可信度报告"
• 能判断给定问题该选稠密直接法还是稀疏迭代法，说出决策依据（规模、稀疏度、对称性）
• 能解释预处理共轭梯度为什么常常比换算法本身收益更大

本章另一个贯穿性的建议：把"求解线性系统"理解为一条流水线而不是一个函数调用——先看结构（对称？正定？稀疏？），再选方法，求解后查条件数与残差，必要时上迭代改进。流水线上任何一环跳过，都可能让后面所有的努力建立在不可信的地基上。三节里的实验代码都控制在二十行以内，值得逐个跑一遍并改动参数观察行为变化。
一个供对照的量化锚点：良态随机矩阵条件数约 1e2 到 1e4，有限元网格加密会让条件数按网格间距的平方增长，希尔伯特矩阵则指数级。拿到条件数先定位在这条标尺上的位置，处置方案自然浮出水面。

下一章的接力工具层面一句话索引：稠密问题在 numpy.linalg 与 scipy.linalg 之间选，稀疏问题进 scipy.sparse.linalg；三节出现的调用名——solve、cholesky、cg、splu——构成日常工作的最小工具箱，各自的边界与禁忌在正文中逐一登记。

线性世界的案件到此告一段落，但很多真实问题是非线性的：方程两端弯曲、极值点藏在山谷里。第三章把"误差侦探"的方法论搬到非线性方程求根与优化战场，那里的头号嫌疑人换成了初值与收敛域。