[TRPO] Trust Region Policy Optimization
Posted 超级超级小天才
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[TRPO] Trust Region Policy Optimization相关的知识,希望对你有一定的参考价值。
论文链接:http://proceedings.mlr.press/v37/schulman15
引用:Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International conference on machine learning. PMLR, 2015: 1889-1897.
概述
Trust Region Policy Optimization (TRPO) 算法是一个 model-free、policy-based、on-policy、Mento Carlo 的算法,且支持连续的状态空间和连续的动作空间,也支持高维输入、神经网络作为函数approximator。
主要的特点
- 最小化某个替代的损失函数以保证策略能够被单调地改进
- 在理论上合理地对算法进行一系列近似
主要的近似过程
-
首先,对于policy gradient或者policy-based的更新算法,最重要的系数之一是步长 α \\alpha α,如果它非常小,则我们无法有效地更新策略;或者如果它非常大,那么学习可能会变得非常不稳定,甚至越来越差。
-
然后文章介绍了 Kakade & Langford (2002) 的一个公式:
η ( π ~ ) = η ( π ) + E ( s 0 , a 0 , s 1 , a 1 … ) [ ∑ t = 0 ∞ γ t A π ( s t , a t ) ] = η ( π ) + ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) \\eta(\\tilde\\pi)=\\eta(\\pi)+E_(s_0,a_0,s_1,a_1…)[\\sum_t=0^\\infty\\gamma^t A_\\pi (s_t,a_t)]=\\eta(\\pi)+\\sum_s\\rho_\\tilde\\pi(s) \\sum_a\\tilde\\pi (a│s) A_\\pi(s,a) η(π~)=η(π)+E(s0,a0,s1,a1…)[t=0∑∞γtAπ(st,at)]=η(π)+s∑ρπ~(s)a∑π~(a│s)Aπ(s,a)
这个式子着我们可以给原始的成本函数(cost function)后添加一个附加项, 如果这个项 ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) \\sum_s\\rho_\\tilde\\pi(s) \\sum_a\\tilde\\pi (a│s) A_\\pi(s,a) ∑sρπ~(s)∑aπ~(a│s)Aπ(s,a) 是一个负值,则这一步可以保证降低成本函数 η \\eta η。
-
然后将等式的右侧定义为 L π ( π ~ ) L_\\pi (\\tilde\\pi) Lπ(π~), 这就是优化的主要目标。
-
然后第一个近似值来了:由于新策略下 π ~ \\tilde\\pi π~的状态分布很难得到,因此将新策略近似地替换为旧策略,即忽略策略变化导致的每个状态访问次数的密度的变化:
L π ( π ~ ) = η ( π ) + ∑ s ρ π ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) L_\\pi (\\tilde\\pi)=\\eta(\\pi)+\\sum_s\\rho_\\pi (s) \\sum_a\\tilde \\pi (a│s) A_\\pi (s,a) Lπ(π~)=η(π)+s∑ρπ(s)a∑π~(a│s)Aπ(s,a)
请注意,现在,我们对状态访问分布使用了旧的策略 π \\pi π。
-
另有一个已经证明的理论说明了:只要如下的这个更新 L π θ o l d L_\\pi_\\theta_old Lπθold的步骤足够小: π θ 0 → π \\pi_\\theta_0 \\rightarrow \\pi πθ0→π,那他就也能够提升 η \\eta η 本身(具体过程可看原文)
-
然后基于保守策略迭代(conservative policy iteration)理论:
π n e w ( a │ s ) = ( 1 − α ) π o l d ( a │ s ) + α π ′ ( a ∣ s ) \\pi_new(a│s)=(1−\\alpha)\\pi_old (a│s)+\\alpha\\pi^′(a|s) πnew(a│s)=(1−α)πold(a│s)+απ′(a∣s)以及 Kakade 和 Langford 已经证明了的如下结果:
η ( π n e w ) ≤ L π o l d ( π n e w ) + 2 ϵ γ ( 1 − γ ( 1 − α ) ) ( 1 − γ ) α 2 \\eta(\\pi_new) \\leq L_\\pi_old (\\pi_new)+\\frac2\\epsilon\\gamma(1−\\gamma(1−\\alpha))(1−\\gamma)\\alpha^2 η(πnew)≤Lπold(πnew)+(1−γ(1−α))(1−γ)2ϵγα2
引出了第二个近似值:假设这里的步长满足 α ≪ 1 \\alpha \\ll 1 α≪1,那么就可以将上述不等式近似为:
η ( π n e w ) ≤ L ( π o l d ) ( π n e w ) + 2 ϵ γ ( 1 − γ ) 2 α 2 \\eta(\\pi_new )≤L_(\\pi_old ) (\\pi_new )+\\frac2\\epsilon\\gamma(1−\\gamma)^2 \\alpha^2 η(πnew)≤L(πold)(πnew)+(1−γ)22ϵγα2
-
目前为止,步长 α \\alpha α 是最重要的一个系数,本文也主要是针对此进行的研究,那么第三个近似值来了:用 π \\pi [TRPO] Trust Region Policy Optimization
[TRPO] Trust Region Policy Optimization