第 7 章 镇民学堂：多智能体学习

第 7 章 · 镇民学堂：多智能体学习

章节摘要：前面六章的镇民都带着固定策略生活，本章送它们上学。先修单智能体强化学习的老手艺（MDP、Q 学习、探索与利用），再直面多智能体教室的根本麻烦——对手也在学习，环境因此非平稳；主讲独立 Q 学习的稳健与天真、集中训练分散执行（CTDE）的工程主流、信用分配难题与竞争性自博弈。最后观摩学徒式学习：模仿学习与逆强化学习，从示范行为里学策略、学意图。

学习目标

阅读完本章，你应当能够：

1. 写出 MDP 五元组与 Q 学习更新式，解释探索率与折扣因子的作用；
2. 用表格型 Q 学习在小网格世界里收敛出最优路径，并读懂训练曲线；
3. 阐述"多智能体环境非平稳"的成因，以及它为什么破坏单智能体学习的收敛前提；
4. 解释 CTDE（集中训练、分散执行）的两阶段结构与它解决什么、不解决什么；
5. 说出信用分配难题的来源与差分奖励等缓解手段；
6. 区分行为克隆、逆强化学习与生成式对抗模仿的思想脉络。

核心概念速览

一句金句：单智能体学习面对的是环境，多智能体学习面对的是一群也在学习的环境。

子章节导航

7.1 老手艺：单智能体强化学习

学堂的启蒙课。MDP 的形式框架（状态、动作、转移、奖励、折扣）、贝尔曼方程的直觉、Q 学习的时间差分更新、epsilon 贪婪的探索利用平衡；代码实现表格型 Q 学习，让镇民在网格小镇里自己学会绕开泥潭走到面包坊。

7.2 非平稳的教室：多智能体强化学习

多个学习者共处一室，最聪明的对手也在进步——转移规律天天变，收敛定理集体失效。本节讲独立 Q 学习的"钝感力"与其局限、马尔可夫博弈的形式框架、CTDE 两阶段范式（MADDPG 一脉）、信用分配难题与差分奖励、竞争场景的自博弈训练。

7.3 学徒观察：模仿学习与逆强化学习

没有奖励信号时，向老师学。行为克隆（监督学习式的照猫画虎）及其分布漂移病、数据集聚合的纠偏思路；逆强化学习（从示范行为反推老师的奖励函数——老师做的是最优，奖励该让示范得分最高）；对抗式模仿把两者拧成对抗训练。

子章节之间的逻辑关系

三节是"基本功、主战场、旁支捷径"的结构：7.1 的更新式是 7.2 所有算法的零件；7.2 的非平稳难题正是 7.3 的一条出路——找不到奖励信号时干脆向示范学习；7.3 的逆强化学习又反过来给 7.2 的奖励设计供料（奖励工程是 MARL 最贵的成本项）。本章与第 6 章血脉相连：学习算法是博弈均衡的另一种到达方式（演化博弈的算法版）。

7.1 Q学习基本功 ──► 7.2 多智能体主战场
       │                   │ 奖励难设计
       │                   ▼
       └──────────► 7.3 模仿与逆强化（从示范绕过奖励工程）
​

本章可考核知识点清单

• 能默写 MDP 五元组与 Q 学习更新式，说明学习率与折扣因子的取值直觉；
• 能解释 epsilon 贪婪为何必要、退火策略为何常用；
• 能说出独立 Q 学习在多智能体环境里"能跑但不保证收敛"的原因；
• 能画出 CTDE 的两阶段结构图并指出信息流差异；
• 能给合作任务的信用分配问题写出差分奖励的计算思路；
• 能比较行为克隆与逆强化学习的适用条件与失效模式。

前置知识与后续延伸

• 前置知识：第 6 章的博弈框架（马尔可夫博弈是博弈与 MDP 的合体）；基础概率（期望、条件概率）；不要求神经网络功底——本章刻意用表格型小例子，概念重于网络。
• 后续延伸：本章的 CTDE 范式是当代多智能体深度强化学习（MADDPG、QMIX 一族）的地基，深入的网络实现在算法研究文献里继续；模仿与逆强化在大模型时代的"从人类反馈学习"里换装重现；第 8 章工坊将把本章的学习实验装进仿真平台做统计评估。若你想看大模型智能体的"学习"（提示工程、记忆与工具使用的迭代），那是《大模型驱动的智能体构建与应用》册的领地。