[TRPO] Trust Region Policy Optimization
Posted 超级超级小天才
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[TRPO] Trust Region Policy Optimization相关的知识,希望对你有一定的参考价值。
论文链接:http://proceedings.mlr.press/v37/schulman15
引用:Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International conference on machine learning. PMLR, 2015: 1889-1897.
概述
Trust Region Policy Optimization (TRPO) 算法是一个 model-free、policy-based、on-policy、Mento Carlo 的算法,且支持连续的状态空间和连续的动作空间,也支持高维输入、神经网络作为函数approximator。
主要的特点
- 最小化某个替代的损失函数以保证策略能够被单调地改进
- 在理论上合理地对算法进行一系列近似
主要的近似过程
-
首先,对于policy gradient或者policy-based的更新算法,最重要的系数之一是步长 α {\\alpha} α,如果它非常小,则我们无法有效地更新策略;或者如果它非常大,那么学习可能会变得非常不稳定,甚至越来越差。
-
然后文章介绍了 Kakade & Langford (2002) 的一个公式:
η ( π ~ ) = η ( π ) + E ( s 0 , a 0 , s 1 , a 1 … ) [ ∑ t = 0 ∞ γ t A π ( s t , a t ) ] = η ( π ) + ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) {\\eta}(\\tilde{\\pi})={\\eta}({\\pi})+E_(s_0,a_0,s_1,a_1…)[\\sum_{t=0}^{\\infty}{{\\gamma}^t A_{\\pi} (s_t,a_t)}]={\\eta}({\\pi})+\\sum_s{{\\rho}_{\\tilde{\\pi}}(s) \\sum_a{\\tilde{\\pi} (a│s) A_{\\pi}(s,a)}} η(π~)=η(π)+E(s0,a0,s1,a1…)[t=0∑∞γtAπ(st,at)]=η(π)+s∑ρπ~(s)a∑π~(a│s)Aπ(s,a)
这个式子着我们可以给原始的成本函数(cost function)后添加一个附加项, 如果这个项 ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) \\sum_s{{\\rho}_{\\tilde{\\pi}}(s) \\sum_a{\\tilde{\\pi} (a│s) A_{\\pi}(s,a)}} ∑sρπ~(s)∑aπ~(a│s)Aπ(s,a) 是一个负值,则这一步可以保证降低成本函数 η {\\eta} η。
-
然后将等式的右侧定义为 L π ( π ~ ) L_{\\pi} (\\tilde{\\pi}) Lπ(π~), 这就是优化的主要目标。
-
然后第一个近似值来了:由于新策略下 π ~ \\tilde{\\pi} π~的状态分布很难得到,因此将新策略近似地替换为旧策略,即忽略策略变化导致的每个状态访问次数的密度的变化:
L π ( π ~ ) = η ( π ) + ∑ s ρ π ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) L_{\\pi} (\\tilde{\\pi})={\\eta}({\\pi})+\\sum_s{{\\rho}_{\\pi} (s) \\sum_a{\\tilde {\\pi} (a│s) A_{\\pi} (s,a)}} Lπ(π~)=η(π)+s∑ρπ(s)a∑π~(a│s)Aπ(s,a)
请注意,现在,我们对状态访问分布使用了旧的策略 π {\\pi} π。
-
另有一个已经证明的理论说明了:只要如下的这个更新 L π θ o l d L_{{\\pi}_{{\\theta}_{old}}} Lπθold的步骤足够小: π θ 0 → π {\\pi}_{{\\theta}_0} \\rightarrow {\\pi} πθ0→π,那他就也能够提升 η {\\eta} η 本身(具体过程可看原文)
-
然后基于保守策略迭代(conservative policy iteration)理论:
π n e w ( a │ s ) = ( 1 − α ) π o l d ( a │ s ) + α π ′ ( a ∣ s ) {\\pi}_{new}(a│s)=(1−{\\alpha}){\\pi}_{old} (a│s)+{\\alpha}{\\pi}^′(a|s) πnew(a│s)=(1−α)πold(a│s)+απ′(a∣s)以及 Kakade 和 Langford 已经证明了的如下结果:
η ( π n e w ) ≤ L π o l d ( π n e w ) + 2 ϵ γ ( 1 − γ ( 1 − α ) ) ( 1 − γ ) α 2 {\\eta}({\\pi}_{new}) \\leq L_{{\\pi}_{old}} ({\\pi}_{new})+\\frac{2\\epsilon{\\gamma}}{(1−{\\gamma}(1−{\\alpha}))(1−{\\gamma})}{\\alpha}^2 η(πnew)≤Lπold(πnew)+(1−γ(1−α))(1−γ)2ϵγα2
引出了第二个近似值:假设这里的步长满足 α ≪ 1 \\alpha \\ll 1 α≪1,那么就可以将上述不等式近似为:
η ( π n e w ) ≤ L ( π o l d ) ( π n e w ) + 2 ϵ γ ( 1 − γ ) 2 α 2 {\\eta}({\\pi}_{new} )≤L_({\\pi}_{old} ) ({\\pi}_{new} )+\\frac{2{\\epsilon}{\\gamma}}{(1−{\\gamma})^2} {\\alpha}^2 η(πnew)≤L(πold)(πnew)+(1−γ)22ϵγα2
-
目前为止,步长 α \\alpha α 是最重要的一个系数,本文也主要是针对此进行的研究,那么第三个近似值来了:用
以上是关于[TRPO] Trust Region Policy Optimization的主要内容,如果未能解决你的问题,请参考以下文章
[TRPO] Trust Region Policy Optimization
[TRPO] Trust Region Policy Optimization