Proximal Policy Optimization (PPO) 算法理解：从策略梯度开始

Posted 2023-03-15 PPPerry_1

近端策略优化（PPO）算法是OpenAI在2017提出的一种强化学习算法，被认为是目前强化学习领域的SOTA方法，也是适用性最广的算法之一。本文将从PPO算法的基础入手，理解从传统策略梯度算法（例如REIFORCE算法）、自然策略梯度算法、信赖域策略优化算法（TRPO）直到PPO算法的演进过程，以及算法迭代过程中的优化细节。整体框图如下图所示。

图1. 本文整体框图

1. 传统策略梯度算法

1.1 从价值近似到策略近似

强化学习算法可以分为两大类：基于值函数的强化学习和基于策略的强化学习。

基于值函数的强化学习通过递归地求解贝尔曼方程来维护Q值函数（可以是离散的列表，也可以是神经网络），每次选择动作时会选择该状态下对应Q值最大的动作，使得未来积累的期望奖励值最大。经典的基于值函数的强化学习算法有Q-Learning、SARSA、DQN算法等。这些算法在学习后的Q值函数不再发生变化，每次做出的策略也是一定的，可以理解为确定性策略。基于策略的强化学习不再通过价值函数来确定选择动作的策略，而是直接学习策略本身，通过一组参数$\theta$对策略进行参数化，并通过神经网络方法优化$\theta$。

基于策略的强化学习用参数化概率分布${\pi }_{\theta }(a|s)=P(a|s;\theta )$代替了基于值函数的强化学习中的确定性策略$\pi :s\to a$，在返回的动作概率列表中对不同的动作进行抽样选择。

1.2 定义目标函数

基于参数化策略的思想，我们的目标就是找到那些可能获得更多奖励的动作，使它们对应的概率更大，从而策略就更有可能选择这些动作。为此，我们定义的最大化目标函数$J(\theta )$如下：$$\underset{\theta }{\max }J(\theta )=\underset{\theta }{\max }{E}_{\tau \sim {\pi }_{\theta }}R(\tau )=\underset{\theta }{\max }\sum _{\tau }P(\tau ;\theta )R(\tau )$$其中$\tau$是agent与环境交互产生的状态-动作轨迹$\tau =(s_1,a_1,\dots ,s_T,a_T)$，对$\tau$求和代表的是与环境交互可能产生的所有情况。我们的目标是通过调整$\theta$，使得获得更大奖励的轨迹出现的概率更高。

其中，轨迹$\tau$在策略${\pi }_{\theta }(a|s)$下发生的概率定义为：
$$P(\tau ;\theta )=\left[\prod _{t=0}^{T}P\left(s_{t+1}\mid s_t,a_t\right)\cdot {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$$表示为状态转移概率和动作选择概率的乘积，因为状态和动作决定轨迹。

1.3 导出策略梯度

与神经网络的优化思路相同，为了通过参数$\theta$优化目标函数，我们需要计算目标函数$J(\theta )$对$\theta$的导数：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{\tau }{\nabla }_{\theta }P(\tau ;\theta )R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta )\frac{{\nabla }_{\theta }P(\tau ;\theta )}{P(\tau ;\theta )}R(\tau )\\ & =\sum _{\tau }P(\tau ;\theta ){\nabla }_{\theta }\log P(\tau ;\theta )R(\tau )\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}{\nabla }_{\theta }\log P(\tau ;\theta )R(\tau )\end{array}$$推导过程中使用了对数导数技巧，将$P(\tau ;\theta )$表示为对数的形式，从而可以方便的重写为：
$$\begin{array}{rl}{\nabla }_{\theta }\log P(\tau ;\theta )& ={\nabla }_{\theta }[\sum _{t=0}^T\log P\left(s_{t+1}\mid s_t,a_t\right)+\sum _{t=0}^T\log 以上是关于Proximal\; Policy\; Optimization\; (PPO)\; 算法理解：从策略梯度开始的主要内容，如果未能解决你的问题，请参考以下文章\\ & \end{array}$$

基于强化学习PPO(Proximal Policy Optimization)算法的无人机姿态控制系统

Proximal Policy Optimization (PPO) 算法理解：从策略梯度开始

PPO姿态控制基于强化学习(Proximal Policy Optimization)PPO训练的无人机姿态控制simulink仿真

Error: webpack.optimize.UglifyJsPlugin has been removed, please use config.optimizat

Proximal Algorithms 3 Interpretation

Proximal Algorithms 1 介绍