第 5 章 · 策略梯度、Actor-Critic 与 PPO：直接优化策略
第 5 章 · 策略梯度、Actor-Critic 与 PPO：直接优化策略
章节摘要：前四章都在学"价值"——先估出每个动作值多少分，再挑分高的。本章换路线：跳过价值，直接把策略写成带参数的函数 π(a|s;θ)，用梯度上升让期望回报变大。REINFORCE 是最小实现，方差大到难以实用；基线与优势函数降噪；Actor-Critic 把学策略与学价值拧成一股绳；PPO 给策略更新装上限速器，成为今天工业界使用最广的强化学习算法；DDPG 则补上连续动作的确定性解法。读完本章，你应当能推导策略梯度定理、手算 PPO 的裁剪过程，并为一个连续控制任务选出合适的算法。
学习目标
- 写出策略梯度定理，解释 log π 乘回报这个乘积的直观含义；
- 论证"减去与动作无关的基线不改变梯度期望，却能降方差"，并算出一个数字例子；
- 画出 Actor-Critic 的双网络架构，说出 TD 误差对 critic 与 actor 的双重身份；
- 解释策略更新幅度危险的因果链，写出 PPO 的裁剪目标并手算一个 batch 的 clip 结果；
- 说出 PPO 的典型超参数（clip 0.2、epochs 3~4、GAE λ 0.95）与敏感度排序；
- 对比随机策略与确定性策略（DPG），说出 DDPG 如何借用 DQN 的两台稳定器。
核心概念速览
本章六节是一串"补丁链"：策略梯度给方向 → REINFORCE 给实现 → 基线与优势治方差 → Actor-Critic 让降噪在线化 → PPO 给更新幅度限速 → DDPG 转向确定性策略：
一句金句：价值方法是"先知道每步多值钱，再挑值钱的"；策略方法是"让拿过高分的动作更常出现"——PPO 再叮嘱一句：改行为的步子，一次别迈太大。
子章节导航
5.1 REINFORCE：策略梯度定理——从"好动作该多出现"推出 ∇logπ·G；最小实现；连续动作为何天然适配。
5.2 基线与优势函数：给策略梯度降方差——基线引理；A=Q−V 的语义；TD 误差近似优势；三档信号的数字对照。
5.3 Actor-Critic 架构：A2C 与并行优势——δ 的双重身份；两个网络的学习速度匹配；并行采样稀释相关性。
5.4 信任域思想：从 TRPO 到 PPO 的裁剪目标——分布漂移为何致命；ratio 与重要性采样；clip 谓词的分段形状。
5.5 PPO 数字演练：ratio、clip 与超参数——六个样本的逐一手算；裁剪目标代码；超参敏感度表。
5.6 DDPG 与确定性策略梯度——确定性策略的取舍；critic 导数当指南针；四网络结构与软更新。
子章节之间的逻辑关系
前三节是"方向 → 降噪 → 落地"的递进，且层层包含：Actor-Critic 是 REINFORCE 加基线再加在线估计，不是另一种哲学。5.4 与 5.5 是一条因果链：先讲清为什么必须限速，再演练限速器怎么拧。5.6 是并列的一条线——连续动作的确定性解法，与 PPO 共同构成现代连续控制的两大流派。
5.1 方向 5.2 降噪 5.3 在线化 \ | / +------------+------------+ v 5.4 为什么限速 5.6 确定性路线 DDPG | | v | 5.5 clip 手算 -------------+ | v 工具箱: PPO 与 DDPG 系并列
前置知识与后续延伸
前置是第 3 章的 TD 思想与第 4 章的深度网络实践常识——本章没有新的数学工具，只有旧机制的新组合。往后续：6.1 的熵探索、6.9 的调参清单与本章超参表联动使用。建议动手任务：实现 5.2 的三档信号对照实验，再实现 5.5 的裁剪目标函数（约十行）对固定 batch 手算核对——两个实验做完，策略路线的两大核心机制就都有了体感。
与价值路线的四点对照
学完本章后，把两条路线并排对一次账，理解才算闭环。对照一，学的对象：价值路线学"每个动作值多少分"（Q 函数），策略路线学"每个动作被选中的概率"（π 函数）——前者是评估器，后者是行为本身。对照二，动作空间的适配：离散动作两家都行，连续动作上价值路线的 argmax 失效、策略路线天然输出分布或确定性动作，这是选型的第一大判据。对照三，样本复用：Q-Learning 异策略可以吃回放池（旧数据反复用），策略梯度 on-policy 数据即采即用、PPO 勉强允许一批用三四个 epoch——样本效率的差距由此而来。对照四，稳定性机制：价值路线怕高估（Double 修）、策略路线怕步子大（clip 修），两种病各自催生了各自最流行的变体。四点对照背下来，第 6 章的离线、多智能体等场景化选型就只是在本章框架上做减法。