第8章 最优控制与学习

第8章 · 最优控制与学习

本章要回答的三个问题：控制器能不能"算"出来而不是"调"出来——LQR 如何用二次代价换出最优增益？状态测不到时怎么办——卡尔曼滤波如何从噪声观测里最优地重构状态？模型完全未知时怎么办——MDP 与强化学习如何让最优控制延伸到试错学习的世界？本章是两条主线的会师章。

为什么会有这一章

第 7 章的 PID 靠反馈的鲁棒性吃饭，但整定终究是手艺活。控制论的自然追求是：把"想要的性能"写成一条可计算的代价函数，让数学直接吐出最优控制器。线性二次型调节器（LQR）是这条路上最完美的成果——代价取状态与控制量的加权平方和，最优解竟是线性的状态反馈，增益由一个代数黎卡提方程一步解出。它是阿波罗登月与无数航天任务的主力，也是本章第一站。

最优控制需要状态，而传感器给的是被噪声污染的投影。卡尔曼滤波以"最小方差"为准则，把预测与观测两路信息按各自的不确定度加权融合，是高斯噪声世界里的最优状态估计器。LQR + 卡尔曼 = LQG，构成了现代控制的黄金组合。而当代价与转移出现在离散随机世界，模型又是未知的，贝尔曼方程（3.4 节的老朋友）就长成了马尔可夫决策过程，强化学习让智能体用试错数据逼近最优策略——运筹学与控制论在百年分流后于此重新合流。

读完能解决什么

• 写出 LQR 的二次代价与黎卡提方程，用 Python 解出最优增益并仿真对比 PID；
• 实现一维与矩阵形式的卡尔曼滤波，理解"预测—更新"两步与增益的含义；
• 搭出网格世界的 MDP 并实现值迭代与 Q-learning，理解两者从"已知模型"到"试错学习"的跨度。

各节怎么分工

本章知识点清单

• 二次型代价中 Q、R 权重的工程含义与调参直觉；
• 代数黎卡提方程与最优反馈增益 K = R⁻¹BᵀP；
• 卡尔曼增益作为"信预测还是信观测"的动态权重；
• 协方差传播与滤波收敛行为；
• MDP 五元组与贝尔曼最优方程；
• 值迭代、策略迭代、Q-learning 的适用前提差异；
• 探索与利用的权衡，ε-贪婪策略。

会师章的行军路线

LQR 回答"已知模型时怎么算最优"，卡尔曼回答"状态模糊时怎么估最优"，强化学习回答"模型未知时怎么学最优"——三个问题接力，铺完了从控制论到现代智能体的大道。

会师章的阅读姿势

本章三节是递进的接力，读的时候请特别留意三处"接口"。其一，8.1 的代价函数里住着第 3 章的灵魂——二次型加权和本质上就是一个可解的凸优化目标，LQR 只是把优化从"离线决策"搬到了"在线反馈"。其二，8.2 的卡尔曼滤波与 8.1 的 LQR 通过分离定理接口，各管估计与控制，这在工程上意味着两个团队、两套验证、一个共享的状态估计。其三，8.3 的贝尔曼方程与 3.4 节一字不差，变化的只是"转移概率已知"变成"只能采样"——看懂这处变化的代价（样本效率）与收益（免模型），就看懂了从控制论到强化学习的整条走廊。读完本章，建议把 3.4、8.1、8.3 三节的代码放进同一个工程里跑一遍，亲手体会"同一个方程、三种解法"的滋味。

先决条件

• 第 7 章的状态空间、稳定性（本章全程复用）；
• 第 3.4 节的贝尔曼方程与动态规划（8.3 的直接前置）；
• 概率基础：均值、方差、高斯分布。

往下走到哪

下一章（最后一章）把全册兵器搬进同一个弹药库：用 Python 搭建优化与仿真的完整流水线，并复盘制造、物流、能源三个行业战例。