强化学习理论入门(Trust Region Policy Optimization介绍)

Posted 2022-12-07 Jie Qiao

介绍

本文主要介绍Trust Region Policy Optimization这篇文章，这篇文章主要回答了如下2个问题：

1. 两个不同策略的value function，他们的差异是多少？
2. 有什么办法可以保证，一个策略相比于另外一个策略一定能够提升呢？

针对这两个问题，我们先定义一些基本的概念，

基本定义

下图是一个较为一般的强化学习MDP框架下的概率图模型

注意，这个图并不一定通用，特别是reward（比如$s_{t+1}$可以不指向$r_{t+1}$），可能是需要考虑具体场景，但这是一个较为一般化结构。基于此，我们有：

马尔科夫性质

$$P\left(S_{t+1}=s^{\prime },R_{t+1}=r^{\prime }\mid s_t,a_t,r_t,\dots ,r_1,s_0,a_0\right)=P\left(S_{t+1}=s^{\prime },R_{t+1}=r^{\prime }\mid s_t,a_t\right)$$

状态转移矩阵：

$${\mathcal{P}}_{s{s}^{\prime }}^a=\sum _{r^{\prime }}P\left(S_{t+1}=s^{\prime },R_{t+1}=r^{\prime }\mid S_t=s,A_t=a\right)$$

下一时刻的reward：

$${\mathcal{R}}_{s{s}^{\prime }}^a=E[R_{t+1}\mid S_t=s,A_t=a,S_{t+1}=s^{\prime }]=\frac{1}{{\mathcal{P}}_{s{s}^{\prime }}^a}\sum _{r^{\prime }}{r}^{\prime }P\left(S_{t+1}=s^{\prime },R_{t+1}=r^{\prime }\mid S_t=s,A_t=a\right)$$

轨迹序列联合概率：

$$p(\tau \mid \pi )=p(s_0)\prod _{t=0}^{T-1}p(s_{t+1},r_{t+1}\mid s_t,a_t)\pi (a_t\mid s_t)$$

State Value Function:

V π ( s ) =   E τ ∼ π [ ∑ l = 0 ∞ γ l r t + l + 1 ∣ S t = s ] = ∑ a t , r t + 1 , s t + 1 . . . . p ( s t ) ∏ t ∞ p ( s t + 1 ∣ s t , a t ) p ( r t + 1 ∣ s t , a t , s t + 1 ) π ( a t ∣ s t ) ∑ l = 0 ∞ γ l r t + l + 1 = ∑ a t , r t + 1 , s t + 1