[TRPO] Trust Region Policy Optimization

Posted 超级超级小天才

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[TRPO] Trust Region Policy Optimization相关的知识,希望对你有一定的参考价值。

论文链接:http://proceedings.mlr.press/v37/schulman15
引用:Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International conference on machine learning. PMLR, 2015: 1889-1897.

概述

Trust Region Policy Optimization (TRPO) 算法是一个 model-free、policy-based、on-policy、Mento Carlo 的算法,且支持连续的状态空间和连续的动作空间,也支持高维输入、神经网络作为函数approximator。

主要的特点

  • 最小化某个替代的损失函数以保证策略能够被单调地改进
  • 在理论上合理地对算法进行一系列近似

主要的近似过程

  • 首先,对于policy gradient或者policy-based的更新算法,最重要的系数之一是步长 α \\alpha α,如果它非常小,则我们无法有效地更新策略;或者如果它非常大,那么学习可能会变得非常不稳定,甚至越来越差。

  • 然后文章介绍了 Kakade & Langford (2002) 的一个公式:

    η ( π ~ ) = η ( π ) + E ( s 0 , a 0 , s 1 , a 1 … ) [ ∑ t = 0 ∞ γ t A π ( s t , a t ) ] = η ( π ) + ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) \\eta(\\tilde\\pi)=\\eta(\\pi)+E_(s_0,a_0,s_1,a_1…)[\\sum_t=0^\\infty\\gamma^t A_\\pi (s_t,a_t)]=\\eta(\\pi)+\\sum_s\\rho_\\tilde\\pi(s) \\sum_a\\tilde\\pi (a│s) A_\\pi(s,a) η(π~)=η(π)+E(s0,a0,s1,a1)[t=0γtAπ(st,at)]=η(π)+sρπ~(s)aπ~(as)Aπ(s,a)

    这个式子着我们可以给原始的成本函数(cost function)后添加一个附加项, 如果这个项 ∑ s ρ π ~ ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) \\sum_s\\rho_\\tilde\\pi(s) \\sum_a\\tilde\\pi (a│s) A_\\pi(s,a) sρπ~(s)aπ~(as)Aπ(s,a) 是一个负值,则这一步可以保证降低成本函数 η \\eta η

  • 然后将等式的右侧定义为 L π ( π ~ ) L_\\pi (\\tilde\\pi) Lπ(π~), 这就是优化的主要目标。

  • 然后第一个近似值来了:由于新策略下 π ~ \\tilde\\pi π~的状态分布很难得到,因此将新策略近似地替换为旧策略,即忽略策略变化导致的每个状态访问次数的密度的变化:

    L π ( π ~ ) = η ( π ) + ∑ s ρ π ( s ) ∑ a π ~ ( a │ s ) A π ( s , a ) L_\\pi (\\tilde\\pi)=\\eta(\\pi)+\\sum_s\\rho_\\pi (s) \\sum_a\\tilde \\pi (a│s) A_\\pi (s,a) Lπ(π~)=η(π)+sρπ(s)aπ~(as)Aπ(s,a)

    请注意,现在,我们对状态访问分布使用了旧的策略 π \\pi π

  • 另有一个已经证明的理论说明了:只要如下的这个更新 L π θ o l d L_\\pi_\\theta_old Lπθold的步骤足够小: π θ 0 → π \\pi_\\theta_0 \\rightarrow \\pi πθ0π,那他就也能够提升 η \\eta η 本身(具体过程可看原文)

  • 然后基于保守策略迭代conservative policy iteration)理论:
    π n e w ( a │ s ) = ( 1 − α ) π o l d ( a │ s ) + α π ′ ( a ∣ s ) \\pi_new(a│s)=(1−\\alpha)\\pi_old (a│s)+\\alpha\\pi^′(a|s) πnew(as)=(1α)πold(as)+απ(as)

    以及 Kakade 和 Langford 已经证明了的如下结果:

    η ( π n e w ) ≤ L π o l d ( π n e w ) + 2 ϵ γ ( 1 − γ ( 1 − α ) ) ( 1 − γ ) α 2 \\eta(\\pi_new) \\leq L_\\pi_old (\\pi_new)+\\frac2\\epsilon\\gamma(1−\\gamma(1−\\alpha))(1−\\gamma)\\alpha^2 η(πnew)Lπold(πnew)+(1γ(1α))(1γ)2ϵγα2

    引出了第二个近似值:假设这里的步长满足 α ≪ 1 \\alpha \\ll 1 α1,那么就可以将上述不等式近似为:

    η ( π n e w ) ≤ L ( π o l d ) ( π n e w ) + 2 ϵ γ ( 1 − γ ) 2 α 2 \\eta(\\pi_new )≤L_(\\pi_old ) (\\pi_new )+\\frac2\\epsilon\\gamma(1−\\gamma)^2 \\alpha^2 η(πnew)L(πold)(πnew)+(1γ)22ϵγα2

  • 目前为止,步长 α \\alpha α 是最重要的一个系数,本文也主要是针对此进行的研究,那么第三个近似值来了:用 π \\pi [TRPO] Trust Region Policy Optimization

    [TRPO] Trust Region Policy Optimization

    强化学习理论入门(Trust Region Policy Optimization介绍)

    强化学习笔记:置信域策略优化 TRPO

    增强学习--TRPO算法

    强化学习---TRPO/DPPO/PPO/PPO2