第 1 章 · 智能体与环境：从最小闭环开始
第 1 章 · 智能体与环境：从最小闭环开始
章节摘要：一切强化学习系统都可以压缩成一句话——一个智能体在环境中观察状态、选择动作、收到奖励，并随着时间推移学会让累积奖励更大。本章把这个最小闭环拆成零件逐个检查：智能体、环境、状态、动作、奖励、策略、价值函数；再补上两块地基性的认知——回报与折扣因子（为什么远期的奖励要打折），以及回合式与连续式任务的区别和探索利用困境。读完本章，你应该能把任何一个真实的决策问题（游戏、控制、调度）映射到这套词汇上，并说清它的奖励信号怎么设计。
学习目标
- 给定一个真实场景（比如自动恒温器或围棋），准确指出其中的智能体、环境、状态、动作与奖励各是什么；
- 区分奖励（单步反馈）与回报（整个未来的累积），并解释为什么优化目标必须是后者；
- 用折扣因子的定义亲手计算一条奖励序列的回报，说明 γ 从 0.9 改到 0.99 会带来什么行为差异；
- 判断一个任务是回合式还是连续式，并指出终止条件在价值学习里扮演的角色；
- 用自己的话解释探索与利用的矛盾，说明为什么纯利用会在一开始就锁死在坏策略上；
- 画出策略 π 与价值函数 V、Q 之间的关系图，理解"策略是因、价值是果"。
核心概念速览
把整章压缩成一张图，就是下面这个循环——它也是全书所有章节反复回到的原点。任何强化学习算法，无论看起来多复杂，本质上都在回答一个问题：如何利用这个循环里流过的数据，把策略改得更好？
一句金句先立在这里：强化学习不学"标准答案"，只学"哪种做法得到的反馈更好"——反馈的及时与稀疏，决定了学习的难易。
子章节导航
1.1 核心概念：智能体、环境、状态、动作与奖励——用"训练小狗握手"这个贯穿全章的例子，把五个最小词汇钉死；重点澄清奖励设计的两个陷阱（稀疏奖励与奖励作弊）。
1.2 回报与折扣因子：奖励的时间价值——引入回报 G 与折扣因子 γ，用具体数字算给你看：为什么 γ=0.9 时十步之后的奖励只剩约 0.35 倍权重，以及这个衰减如何塑造智能体的"眼光长短"。
1.3 回合与连续任务：终止、持续与探索利用困境——区分有终点的任务（一局棋）与没有终点的任务（恒温控制）；终止状态在数学上如何处理；最后引出探索与利用的矛盾，它将贯穿第 4、8 章。
子章节之间的逻辑关系
三节的推进是一个"拆零件 → 定度量 → 分场景"的过程：1.1 拆出闭环的五个零件并给奖励信号立规矩；1.2 回答"奖励如何累加成优化目标"，这是数学化的前夜；1.3 讨论任务的时间结构，为第 2 章把整件事写成马尔可夫决策过程扫清概念障碍。
1.1 闭环零件 1.2 度量标准 1.3 时间结构 智能体/环境/奖励 --> 回报 G 与折扣 γ --> 回合式/连续式 | | | +----> 状态、动作、策略定义 探索 vs 利用 | v 第 2 章：把这一切写成 MDP 五元组
前置知识与后续延伸
前置知识只需要概率论的两样东西：期望的含义（加权平均）与条件概率的直觉。不需要任何机器学习背景——监督学习与强化学习的差别本章会顺带讲清。往后续：第 2 章把闭环升级为马尔可夫决策过程并推导贝尔曼方程；如果你急着看算法，第 3 章的 Q-Learning 也只依赖本章与第 2 章的概念。建议动手任务：拿一张纸，为"电梯调度"写出状态、动作、奖励三个清单，写完再对照 1.1 的奖励设计陷阱自查一遍。
本章自检清单
读完三节后，用下面的清单做一次自查，任何一条答不上来就回到对应小节重读。一、能否把"电梯调度"完整拆成五元组词汇：状态是楼层数与轿厢内外呼梯，动作是上行下行开关门，奖励怎么权衡等待时间与能耗？二、能否不看公式写出折扣回报的定义，并解释 γ 取 0.9 与 0.99 的智能体在"要不要绕两步近路"上的判断差异？三、能否说出奖励塑形的两个陷阱各是什么，以及各自的识别信号？四、给定"恒温器控制"与"井字棋"，能否立刻判断哪个是连续式任务、哪个是回合式任务，终止条件分别怎么写？五、能否用一个生活里的例子向同事解释：为什么只做利用的智能体可能永远停在局部最优？这五个问题覆盖了本章全部可考核知识点，也是第 2 章入场前的门槛——全部过关再往前走，遇到卡点回炉的成本远低于带着漏洞硬读。