本章要回答的核心问题:决策问题怎么写成数学模型?不靠地图的智能体怎么靠试错学出最优路线?深度网络接管感知之后,强化学习又通向了哪里?全册最后这支编队,负责收拢决策与前沿两块高地。
强化学习理论题的核心矛盾是"试错信号对最优决策"。监督学习有标准答案可抄,决策问题只有奖励这种延迟、稀疏、带噪声的评价——怎么从"当时感觉还行"反推"长远哪个动作最好",是整章的主轴。它还是全册综合性最高的阵地:建模靠概率直觉,求解靠迭代计算,深度化靠卷积读画面,前沿化靠预训练与对齐思想接力。前面编队的家底(梯度、注意力、骨干网络)在这里全部上桌。
本章三关按"建模 → 试错求解 → 深度与前沿"推进:先把决策写成马尔可夫决策过程并算通贝尔曼方程,再让智能体在未知环境里用 Q-learning 迭代出最优路线,最后登顶深度强化学习并把前沿概念挂接回全册地图。
| 节号 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 第一节 MDP与贝尔曼方程关卡 | 决策问题怎么数学化 | 小型 MDP 的价值迭代手算 + 折扣敏感性实验 |
| 第二节 Q-learning数值迭代关卡 | 不看地图怎么试错学路线 | 网格世界 Q 表全量迭代 + 时序差分单步拆解 |
| 第三节 DQN与前沿概念关卡 | 网络接管后走向哪里 | 深度化三件套动机 + 全册概念收拢图 |

链条读法:每换一段就是一次"假设被放松"——已知转移假设被无模型试错放松,表格假设被函数逼近放松,单智能体假设被人类偏好对齐放松。前沿概念看似散乱,挂回这条"放松假设"的主线就都各归其位。
| 知识点 | 达标线 | 对应关卡 |
|---|---|---|
| 五元组与马尔可夫性 | 把场景翻译成元组并判别状态刻画是否充分 | 首关 |
| 折扣回报 | 给定奖励序列与折扣因子手算累积回报 | 首关 |
| 贝尔曼方程迭代 | 手推小型 MDP 价值函数收敛过程 | 首关 |
| 时序差分更新 | 徒手算单步 Q 值并解释每项含义 | 次关 |
| 探索与利用 | 设计并解释 epsilon 贪心调度 | 次关 |
| Q-learning 对 SARSA | 说清目标值用最大还是用实际动作 | 次关 |
| 深度化三件套 | 状态爆炸、样本相关性、目标漂移逐条对应解法 | 末关 |
| 前沿概念挂接 | 预训练、提示、对齐各自从哪条线长出 | 末关 |
本章是全册的合龙口:建模语言(MDP)、试错机制(时序差分)、深度装备(回放与目标网)三件套到手后,第六编队末关把前沿概念一一挂回前五章的知识树,全册地图闭环。学完本册的正确姿势是回到导读的知识地图,把每道关卡的产出卡摆回原位——检验理论掌握程度的最后标准,是你能把这张地图讲给别人听。