Soft Actor-Critic 论文解读

Posted 2021-10-06 白水baishui

1. 最大熵强化模型

最大熵强化学习的优化目标为（即论文公式(1)）：$$J(\pi )=Q(s_t,a_t)=\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}[r(s_t,a_t)+\alpha H(\pi (\cdot |s_t))]$$其中，$(s_t,a_t)\sim {\rho }_{\pi }$表示$s_t$、$a_t$符合${\rho }_{\pi }$分布；$H(\pi (\cdot |s_t))$是熵项，用于增强探索能力；$\alpha$是熵项的权重，控制了最优策略的随机性。

由标准强化学习优化目标公式：$$\begin{array}{rl}Q(s_t,a_t)& =r(s_t,a_t)+\gamma \sum _{t=0}^T{\mathbb{E}}_{s_t\sim p}[V(s_{t+1})]\\ & =r(s_t,a_t)+\gamma \sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}[Q(s_{t+1},a_{t+1})]\end{array}$$

可知上面的论文公式(1)是一个缩写式，完整展开应该为：$$\begin{array}{rl}Q(s_t,a_t)& =\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}[r(s_t,a_t)+\alpha H(\pi (\cdot |s_t))]\\ & =\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }^{以上是关于Soft\; Actor-Critic\; 论文解读的主要内容，如果未能解决你的问题，请参考以下文章}}\\ & \\ & \end{array}$$

LIRD(Deep Reinforcement Learning for List-wise Recommendations)论文算法解读

论文阅读|《Bi-level Actor-Critic for Multi-agent Coordination》(AAAI 2020)（附带源码链接）

论文阅读|《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》(NeurlPS,2017)(MADDPG)

[论文翻译与解读] Hacking Blind

[论文翻译与解读] Hacking Blind

[论文翻译与解读] Hacking Blind