论文笔记之：Dueling Network Architectures for Deep Reinforcement Learning

Posted 2020-07-28

 

Dueling Network Architectures for Deep Reinforcement Learning

ICML 2016 Best Paper

Google DeepMind

 

• Abstract:

　　本文是 ICML 2016 的最佳论文之一，又是出自 Google DeepMind。

　　最近几年，在 reinforcement learning 上关于 deep representation 有取得了很大的成功。然而，许多这些应用都是利用传统的网络架构，例如：神经网络，LSTMs，或者 Auto-encoders。本文提出了一种新的网络结构来处理 model-free reinforcement learning。所提出的 dueling network 表示两个独立的预测：

　　one for the state value function ;

　　one for the state-dependent action advantage function。

　　这种分解方式的主要优势在于：generalize learning across actions without imposing any change to the underlying reinforcement learning algorithm. （产生学习交叉动作，而又没有对潜在的RL做出任何改变）。实验表明，当出现许多相似值的动作时，可以学习到更好的策略评价。此外，在玩 Atari 2600 时取得了比 Nature 那个更好的效果。