从TRPO到PPO（理论分析与数学证明）

Posted 2022-10-25 行者AI

本文首发于行者AI

引言

一篇关于强化学习算法的理论推导，或许可以帮助你理解PPO算法背后的原理，从而找到改进PPO算法的灵感…

马尔可夫决策过程由$(S,A,P,r,{\rho }_0,\gamma )$六个元素构成。其中$S$是一个有限的状态空间集合，$A$是一个有限的动作空间集合。$P:S\times A\times S\to \mathbb{R}$ 表示状态转移概率函数，例如$P(s^{\prime }|s,a)=0.6$表示的含义就是在状态$s$处执行动作$a$到达的状态为$s^{\prime }$的概率为0.6。$r:S\to \mathbb{R}$是奖励函数，${\rho }_0:S\to \mathbb{R}$是初始状态分布概率函数，$\gamma \in (0,1)$是折扣因子。

让$\pi$表示一个随机策略函数$\pi :S\times A\to [0,1]$,例如$\pi (s,a)=0.5$表示在状态$s$处选择动作$a$的概率为0.5。令$\eta (\pi )$表示基于策略$\pi$的长期期望折扣奖励：$\eta (\pi )={\mathbb{E}}_{s_0,a_0,\dots }[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t)]$, 其中$s_0\sim {\rho }_0(s_0),a_t\sim \pi (a_t|s_t),s_{t+1}\sim P(s_{t+1}|s_t,a_t)$。

下面给出状态价值函数、状态动作价值函数、优势函数的定义：

（1）状态动作价值函数：
$$Q_{\pi }(s_t,a_t)={\mathbb{E}}_{s_{t+1},a_{t+1},\dots }[\sum _{l=0}^{\infty }{\gamma }^{l}r(s_{t+l})]$$
表示的是在状态$s_t$处执行动作$a_t$后获得的长期期望折扣奖励。

（2）状态价值函数:
$$V_{\pi }(s_t)={\mathbb{E}}_{a_t,s_{t+1},\dots }[\sum _{l=0}^{\infty }{\gamma }^{l}r(s_{t+l})]={\mathbb{E}}_{a_t}[Q_{\pi }(s_t,a_t)]$$
表示从状态$s_t$开始获得的长期期望折扣奖励。

（3）优势函数：
$$A_{\pi }(s,a)=Q_{\pi }(s,a)-V_{\pi }(s,a)$$
表示的是在状态$s$处，动作$a$相对于平均水平的高低。

强化学习的目标就是最大化长期期望折扣奖励
$$\eta (\pi )={\mathbb{E}}_{s_0,a_0,\dots }[\sum _{t=0}^{\infty }$$