第 2 章 · MDP 与贝尔曼方程：给决策建数学骨架
第 2 章 · MDP 与贝尔曼方程：给决策建数学骨架
章节摘要：第 1 章的闭环还是自然语言，本章把它升级为严格对象——马尔可夫决策过程（MDP）。马尔可夫性质一句话：未来只依赖当前状态，与更早的历史无关；五元组（状态集、动作集、转移概率、奖励函数、折扣因子）则是把任何决策问题装进数学容器的清单。有了 MDP，就能推出全书最重要的一个方程——贝尔曼方程：价值等于即时奖励加上折扣后的后续价值。期望形态与最优形态两个版本，分别支撑"评估一个策略"与"寻找最优策略"两件事。读完本章，你应当能对一个具体问题写出五元组、手推贝尔曼方程在格子世界里的每一项数字。
学习目标
- 对一个具体场景判断马尔可夫性质是否成立，不成立时知道是哪块信息缺失导致的；
- 给定决策问题，写出 MDP 五元组，特别是把转移与奖励写成 P(s', r | s, a) 的形式；
- 从回报的递归式出发，自己推导出贝尔曼期望方程，不需要看课本；
- 说清贝尔曼期望方程与贝尔曼最优方程的差别，以及 max 运算在其中的角色；
- 在 4×4 格子世界上手算两轮价值更新，理解"自左向右传播"其实是奖励信号在时间上前移；
- 理解为什么"最优价值函数唯一"而"最优策略不一定唯一"。
核心概念速览
本章的结构就是一条推导链，从马尔可夫性质出发，途经价值定义，抵达贝尔曼方程。下面这张全景图把链条画成三个台阶，每一节负责一个台阶：
一句金句：贝尔曼方程把"未来"折叠进"现在"——你只需要算清眼前一步，剩下的交给递归。
子章节导航
2.1 马尔可夫决策过程：五元组与马尔可夫性质——先讲性质本身（何时成立、何时被破坏、部分可观测怎么办），再把第 1 章的闭环逐件翻译成五元组，落点是转移图与一个完整的迷宫建模示例。
2.2 贝尔曼方程：期望形态与最优形态——从 G_t = R_{t+1} + γG_{t+1} 两边取期望推出期望方程；把"按当前策略走"换成"走当前价值最高的那步"得到最优方程；用 3×3 格子世界手算两轮迭代，把抽象递归变成具体数字；最后配一张 Backup 图解，说明所有价值类算法（动态规划、蒙特卡洛、TD、DQN）本质都只是"怎样拿到 backup 目标"的不同方案。
子章节之间的逻辑关系
2.1 负责"把世界写小"——让一个动态的、带噪声的环境变成一个静态的概率对象；2.2 负责"把目标写短"——把跨越整条时间线的回报压缩成单步递归。一横一纵完成之后，"求解决策问题"就等价于"解一组方程"，第 3 章的动态规划与蒙特卡洛不过是两种解方程的手段。
2.1 建模: 闭环 --> 五元组 2.2 求解: 递归 --> 方程 语言描述 --> 数学对象 目标函数 --> 不动点 \ / v v "解方程" = 第 3 章两条路线的共同起点
前置知识与后续延伸
前置只需要第 1 章的全部内容，外加一条概率常识：条件期望的展开 E[XY] 可以逐项拆开算。本章不涉及任何矩阵求逆或线性代数技巧。往后续：贝尔曼期望方程是第 3 章策略评估的迭代公式来源；贝尔曼最优方程是价值迭代、Q-Learning、DQN 更新式的共同祖先——看到 r + γ max Q 就要认出这是最优方程在借尸还魂。建议动手任务：选一个你熟悉的游戏（比如跳棋或推箱子），写出它的五元组并指出奖励函数设计的两处取舍。
三个高频误解澄清
写出来是因为每一届读者都撞。误解一："马尔可夫性质就是环境没有记忆"——不对，性质说的是状态里装够了信息之后，条件分布只依赖当前状态；环境本身可以有惯性，只是惯性已被状态吸收。误解二："贝尔曼方程是算法"——它是一个等式约束，描述价值必须满足的关系；把它变成算法还需要迭代方案（第 3 章）或采样方案（蒙特卡洛与时序差分）。误解三："最优策略只有一个"——恰好相反，最优价值函数 V* 唯一，而最优策略可能有多个：当多个动作在某个状态并列最优时，它们的任意混合都仍是最优的；算法收敛到哪一个，取决于初始化与遍历顺序这类无关紧要的偶然。把这三条想透，第 2 章的两个方程才算真正归位。