[TRPO] Trust Region Policy Optimization

Posted 2022-01-30 超级超级小天才

论文链接：http://proceedings.mlr.press/v37/schulman15
引用：Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International conference on machine learning. PMLR, 2015: 1889-1897.

概述

Trust Region Policy Optimization (TRPO) 算法是一个 model-free、policy-based、on-policy、Mento Carlo 的算法，且支持连续的状态空间和连续的动作空间，也支持高维输入、神经网络作为函数approximator。

主要的特点

• 最小化某个替代的损失函数以保证策略能够被单调地改进
• 在理论上合理地对算法进行一系列近似

主要的近似过程

• 首先，对于policy gradient或者policy-based的更新算法，最重要的系数之一是步长 $\alpha$，如果它非常小，则我们无法有效地更新策略；或者如果它非常大，那么学习可能会变得非常不稳定，甚至越来越差。

• 然后文章介绍了 Kakade & Langford (2002) 的一个公式：

  $$\eta (\tilde{\pi })=\eta (\pi )+E_{(}{s}_0,a_0,s_1,a_1\dots )[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]=\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a│s)A_{\pi }(s,a)$$

  这个式子着我们可以给原始的成本函数（cost function）后添加一个附加项, 如果这个项 ${\sum }_s{\rho }_{\tilde{\pi }}(s){\sum }_a\tilde{\pi }(a│s)A_{\pi }(s,a)$ 是一个负值，则这一步可以保证降低成本函数$\eta$。

• 然后将等式的右侧定义为 $L_{\pi }(\tilde{\pi })$, 这就是优化的主要目标。

• 然后第一个近似值来了：由于新策略下$\tilde{\pi }$的状态分布很难得到，因此将新策略近似地替换为旧策略，即忽略策略变化导致的每个状态访问次数的密度的变化：

  $$L_{\pi }(\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a│s)A_{\pi }(s,a)$$

  请注意，现在，我们对状态访问分布使用了旧的策略 $\pi$。

• 另有一个已经证明的理论说明了：只要如下的这个更新$L_{{\pi }_{{\theta }_{old}}}$的步骤足够小：${\pi }_{{\theta }_0}\to \pi$，那他就也能够提升 $\eta$ 本身（具体过程可看原文）

• 然后基于保守策略迭代（conservative policy iteration）理论：
  $${\pi }_{new}(a│s)=(1-\alpha ){\pi }_{old}(a│s)+\alpha {\pi }^{\prime }(a|s)$$

  以及 Kakade 和 Langford 已经证明了的如下结果:

  $$\eta ({\pi }_{new})\le L_{{\pi }_{old}}({\pi }_{new})+\frac{2ϵ\gamma }{(1-\gamma (1-\alpha ))(1-\gamma )}{\alpha }^2$$

  引出了第二个近似值：假设这里的步长满足 $\alpha \ll 1$，那么就可以将上述不等式近似为：

  $$\eta ({\pi }_{new})\le L_{(}{\pi }_{old})({\pi }_{new})+\frac{2ϵ\gamma }{(1-\gamma {)}^2}{\alpha }^2$$

• 目前为止，步长 $\alpha$ 是最重要的一个系数，本文也主要是针对此进行的研究，那么第三个近似值来了：用

  以上是关于[TRPO] Trust Region Policy Optimization的主要内容，如果未能解决你的问题，请参考以下文章

  [TRPO] Trust Region Policy Optimization

  [TRPO] Trust Region Policy Optimization

  强化学习理论入门(Trust Region Policy Optimization介绍)

  强化学习笔记：置信域策略优化 TRPO

  增强学习--TRPO算法

  强化学习---TRPO/DPPO/PPO/PPO2