6.1 策略梯度思想

文档摘要

6.1 策略梯度思想 6.1 策略梯度思想策略梯度方法是强化学习中一类重要的算法，它直接优化策略本身，而非像值函数方法那样先学习值函数，再间接导出策略。这种直接策略优化方法在处理连续动作空间和高维状态空间的问题时具有优势。本节将深入探讨策略梯度思想的核心概念和原理。 6.1.1 策略的概念在强化学习中，策略（Policy）定义了智能体在给定状态下应该采取的动作。策略可以是确定性的，即对于每个状态，智能体都选择一个固定的动作；也可以是随机性的，即对于每个状态，智能体根据一个概率分布来选择动作。确定性策略（Deterministic Policy）：表示为 π(s)，它直接将状态 s 映射到动作 a。即 π(s) = a。