第 3 章 · 从动态规划到 Q-Learning：价值学习全流程
第 3 章 · 从动态规划到 Q-Learning：价值学习全流程
章节摘要：第 2 章把决策问题写成方程，本章开始解方程——并且一路解到强化学习的标志性算法 Q-Learning。路线分四站：模型已知时用动态规划在表上滚出精确解（策略迭代与价值迭代）；模型未知就采样整条轨迹做统计（蒙特卡洛）；时序差分把两者杂交，走一步就更新；最后登上 SARSA 与 Q-Learning——直接学"每个动作值多少分"的 Q 表。本章含一个完整的小网格世界 Q 表逐步更新数字演练。读完本章，你应当能徒手跑通价值迭代的几轮，并逐数字解释 Q-Learning 每次更新的每个加减项。
学习目标
- 复述广义策略迭代（GPI）框架，说明评估与改进两步如何互相咬合；
- 手写价值迭代的更新式并在 4×4 格子世界上推演几轮，解释价值的"涟漪传播"；
- 用首次访问与每次访问两种口径做 MC 估计，说出 MC 的三条性质（无模型、无偏、高方差）；
- 写出 TD(0) 更新式，解释自举为何是"偏差换方差"的交易；
- 区分 SARSA 与 Q-Learning 的更新目标，预测两者在悬崖行走上的行为差异；
- 在 5×4 网格世界手算 Q 表更新的前几步，说出 α、γ、ε 各自控制什么。
核心概念速览
本章五节是一条"求解设备的进化史"：每换个算法，都是因为上一个卡在某个瓶颈——
一句金句：价值学习的一切算法都在回答同一个问题——更新目标从哪来：模型硬算（DP）、真实采样（MC）、还是估计套估计（TD）；Q-Learning 是 TD 家族里直接逼近最优的那一个。
子章节导航
3.1 动态规划：策略迭代与价值迭代——评估滚期望方程、改进取贪心；价值迭代把 max 提前评估只做一步；4×4 网格数字实录与收敛轮数分析。
3.2 蒙特卡洛方法：用整条轨迹估计价值——经验平均收敛到期望；两种访问口径；ε-软策略保证覆盖；DP 与 MC 的七维对照表。
3.3 时序差分学习：TD(0)、N 步 TD 与 TD(λ)——TD 误差的三重身份；自举的交易账；N 步连续谱与资格迹。
3.4 SARSA 与 Q-Learning：同策略与异策略——更新目标一字之差；悬崖行走的两种性格；异策略身份带来的经验回放合法性。
3.5 Q 表更新数字演练：小网格世界逐步推演——γ=0.9、α=0.5 下逐格逐数字的更新账本；奖励从出口向起点的倒灌全程；三旋钮的数字体检。
子章节之间的逻辑关系
五节是"两条路线 → 一条杂交 → 一字分叉 → 一次上手"。3.1 与 3.2 是互为镜像的求解路线（要模型 vs 要采样），3.3 从两边各取所长（无模型 + 步步更新），3.4 在控制问题上分出同策略与异策略两支，3.5 把前面全部公式放进一张具体的表格里滚出数字。学完本章，价值学习的技术谱系就完整了：第 4 章的 DQN 只是把这里的 Q 表换成神经网络。
3.1 DP: 模型硬算 3.2 MC: 真实采样 3.3 TD: 估计套估计 精确但贵 无偏但吵 快但偏 \ | / +--------------------+--------------------+ v 3.4 控制分叉: SARSA(看自己) / Q-Learning(看贪心) | v 3.5 网格世界演练: 每个数字当场验算
前置知识与后续延伸
前置是第 1 章的折扣回报与第 2 章的两个贝尔曼方程，外加一点大数定律的直觉。本章没有新的数学工具——所有更新式都是贝尔曼方程的迭代化或采样化。往后续：3.5 的 Q 表是第 4 章 DQN 想逼近的"标准答案"；3.4 的异策略概念是经验回放合法性的理论前提。建议动手任务：先按 3.5 的表格手算五个更新，再运行代码核对；然后回到 3.1 把价值迭代跑出的最优 Q 与 3.5 练出的 Q 表对照——数字对上了，本章才算真懂。
本章数字演练的自查口径
五节里出现了三处可手算的数字过程，自查口径统一列出。其一，3.1 的价值迭代：拿 4×4 网格的前两轮更新对照正文表格，重点核对"离终点的距离每远一步、价值衰减约一个 γ 量级"的涟漪规律。其二，3.2 的蒙特卡洛增量平均：随便编五条回报样本手算增量式更新，验证最终均值与直接平均一致、且每步更新量恰好是 1/N 乘当前偏差。其三，3.5 的 Q 表演练：出口前三个格子的前三个回合值（0.5、0.75、0.875 与 0、0.32、0.51）应当能独立复算出来——这三组数字是 TD 倒灌的指纹。三处自查全过的标志是：你能向同事解释清楚"为什么 DP 一步到位而 TD 要一回合推一格"——那正是两种 update 目标来源（模型展开对比真实采样）的直接后果。自查不过关的位置，就是本章需要重读的位置，比通读第二遍高效得多。