第 4 章 · 从 Q 表到深度 Q 网络：函数逼近之路

第 4 章 · 从 Q 表到深度 Q 网络：函数逼近之路

章节摘要：第 3 章的 Q 表在真实规模的任务面前撞上四重死墙：存不下、填不满、时间不可行、零泛化——统称维度灾难。本章把 Q 表换成可学习的函数：先论证函数逼近为什么是刚需，再过一遍逼近器的选型谱系，然后进入主角 DQN——用神经网络近似 Q 函数，装上经验回放与目标网络两台稳定器治住训练发散；最后用一张对比矩阵盘点 Double、Dueling、优先回放等变体的病与药，附可抄的超参数实录。读完本章，你应当能解释 DQN 每个部件对症的病，并独立完成一次 Atari 风格任务的训练与诊断。

学习目标

1. 用具体数字算清表格方案在 2048、跳棋、围棋规模下的存储与采样死线；
2. 说出函数逼近打破表格时代收敛保证的机制（跨状态联动更新）；
3. 按表达力、稳定性、样本效率三角给线性模型与神经网络定位；
4. 画出 DQN 的数据流：回放池抽样、双网络分工、损失回传、目标网络更新；
5. 解释 max 操作的高估偏置从何而来，Double DQN 怎么用两套参数拆掉它；
6. 拿到一份训练日志，判断该上哪个 DQN 变体并给出超参调整顺序。

核心概念速览

本章的推进是一根"问题链"：表格失效 → 函数逼近登场 → 深度网络不稳 → 两台稳定器救场 → 变体修补遗留病：

一句金句：DQN 没有发明新方程——它只是让深度网络在 Q-Learning 的旧方程里活了下来；两台稳定器各斩一条发散回路，缺一不可。

子章节导航

4.1 为什么需要函数逼近：维度灾难——四重死墙的数字账；"粗离散化不是出路"的论证；泛化为何是刚需。

4.2 函数逼近器：从线性模型到神经网络——选型三角；线性方法在低维控制上的最后堡垒；一个发散玩具实验预演深度 TD 的死法。

4.3 DQN 双引擎：经验回放与目标网络——两台稳定器各自对症的病；带注释的训练循环；三条健康曲线的监控方法。

4.4 DQN 变体对比矩阵与超参数实录——变体矩阵（病、药方、代价）；Double 两行代码的修法；超参敏感度排序与调参次序。

子章节之间的逻辑关系

四节是"病灶 → 诊断 → 治疗 → 复查"的完整疗程。4.1 确诊表格方案不可救；4.2 在逼近器谱系里选出血统（顺带预演深度方案的并发症）；4.3 给出主治疗方（DQN 全结构）；4.4 是复查阶段的对症追加。注意 4.2 的发散玩具是理解 4.3 的钥匙——先亲眼看到"目标追参数、参数追目标"的死亡螺旋，稳定器的价值才有落点。

4.1 病灶: 表格四重死墙     4.2 诊断: 逼近器选型三角
          \                    /
           v                  v
           4.3 治疗: DQN 双引擎稳定器
                        |
                        v
           4.4 复查: 变体对症 + 超参实录
​

前置知识与后续延伸

前置是第 3 章的 Q-Learning 更新式与异策略概念（回放池合法性的来源）、外加基本神经网络常识——网络当黑箱用，不推导反向传播。往后续：max 高估的思想在第 5 章 DDPG 的 critic 外推病中重现；本章的三条监控曲线在 6.9 节升级成完整诊断指南。建议动手任务：跑通 4.3 的精简实现于任意 Gymnasium 离散环境，然后分别注释掉回放池与目标网络，亲眼对比训练曲线——这个"拆零件"实验比任何文字都更能建立体感。

与第 3 章的数字对账

本章所有设计与第 3 章的 Q 表版本逐项对应，读每一节时建议把对照摆在手边：Q-Learning 的更新式在 4.3 变成让网络输出逼近 y = r + γ max Q 的均方误差回归（4.3 节的损失函数）；Q 表的"每个格子独立更新"在深度网络里变成"一次更新牵动全部输出"，这就是稳定器要解决的根源；Q 表时代的"全零初始化加固定贪心次序"偏差，在网络版本里对应"训练早期的垃圾数据"，由 warm-up 步数来挡。对账的习惯还有个工程收益：当 DQN 训练异常时，先问"这个问题在 Q 表版本里对应什么"，往往能立刻定位是哪个部件出了问题——深度方法没有魔法，只是表格方法的连续版本加了两台稳定器。