Soft Actor Critic算法论文公式详解

Posted 2022-04-20 白水baishui

SAC强化学习算法是伯克利大学团队2018年在ICML(International Conference on Machine Learning)上发表的论文，本篇博客来总结一下论文里的公式及其涵义。

论文地址：Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

文章目录

• • • 1. 符号说明
    • 1. 累计平均回报
    • • 1.1. 熵探索策略
      • 1.2. 附录A：无限马尔科夫决策过程
    • 2. Soft 策略迭代
    • • 2.1. Soft V函数的推导过程
      • 2.2. 引理1：Soft 策略评估
      • • 2.2.2. 引理1：Soft 策略评估的收敛性证明
        • 2.2.3. 引理1：Soft 策略评估的收敛性证明的推导过程
      • 2.3. Soft 策略改进
      • • 2.3.1. 引理2：Soft 策略改进
        • 2.3.2. 引理2：Soft 策略改进证明
      • 2.4. 定理1：Soft 策略迭代
    • 5. Soft Actor-Critic
    • • 5.1. 状态-值函数 Soft V
      • 5.2. 状态-动作-值函数 Soft Q
      • 5.3. 策略 $\pi$
    • 6. 算法训练流程

1. 符号说明

马尔科夫决策过程：$$(\mathcal{S},\mathcal{A},p,r)$$其中，$\mathcal{S}$为状态空间；$\mathcal{A}$为动作空间；未知的状态转移概率$p:\mathcal{S}\times \mathcal{S}\times \mathcal{A}\to [0,\infty )$表示给定当前状态$s_t\in \mathcal{S}$和动作$a_t\in \mathcal{A}$时下一个状态$s_{t+1}\in \mathcal{S}$的概率密度；环境在每次状态转移时获得一个有界的立即回报$r:\mathcal{S}\times \mathcal{A}\to [r_{\min },r_{\max }]$；${\rho }_{\pi }(s_t)$和${\rho }_{\pi }(s_t,a_t)$分别表示由策略$\pi (a_t|s_t)$产生的轨迹的边缘状态、状态-动作分布(边缘即当前时刻的意思)。

1. 累计平均回报

SAC算法设定了一个最大熵目标$r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot |s_t))$，它通过最大化累计最大熵目标的期望值$J(\pi )$（累计平均回报）来使策略$\pi$随机化，如公式(1)：
$$J(\pi )=\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}[r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot |s_t))]$$其中，$r(s_t,a_t)$表示普通的立即回报项；$\mathcal{H}(\pi (\cdot |s_t))$表示熵回报项；$\alpha$是温度参数(权重)，它决定了熵项对立即回报的相对重要性，从而控制了最优策略的随机性，在下文中凡是涉及到熵项的都应带上权重$\alpha$，只是有时会略写。

1.1. 熵探索策略

熵回报项$\mathcal{H}(\pi (\cdot |s_t))$是如何产生随机策略的？我们来看到信息熵的数学公式：$$\mathcal{H}(X)=\mathbb{E}[-\log P(X)]=-{\mathbb{E}}_{x_i}\log P(x_i)$$其中，$x_i$是随机变量；$P(x_i)$是随机变量出现的概率。需要注意，由于概率值$P(x_i)\in [0,1]$，因此$\log P(x_i)⩽0$，即$\mathcal{H}(X)⩾0$。

当我们使用随机策略而不是确定性策略时，策略$\pi (s_t,a_t)$就代表在状态$s_t$时$a_t$被选择的概率。此时可得推导式(1)：$$\mathcal{H}(\pi (\cdot |s_t))=-{\mathbb{E}}_{a_t\sim \pi }\log \pi (a_t|s_t)=-\log \pi (\cdot |s_t)$$

可以看到，策略$\pi$产生的动作越确定，即某些动作被选择的概率远大于其他大部分动作，那么其他大部分动作被选择的概率就相对较小，熵期望值就会越趋向于0；反之，若策略$\pi$产生的动作越不确定，即各个动作被选择的概率较为平均，熵值就越大。

可能上面的话不是很直观，下面我们举个例子。假设现在有5个动作可供选择，不同策略$\pi$产生动作的概率分别有以下两种情况：

pi_1 = [0.2, 0.2, 0.2, 0.2, 0.2]以上是关于Soft Actor Critic算法论文公式详解的主要内容，如果未能解决你的问题，请参考以下文章
 
 Soft Actor-Critic 论文解读
 Soft Actor-Critic 论文解读
 强化学习(十五) A3C
 Actor Critic
 论文阅读|《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》(NeurlPS,2017)(MADDPG)
 LIRD(Deep Reinforcement Learning for List-wise Recommendations)论文算法解读