7月16日论文推荐；以及求助RL论文

Posted 2021-08-16 雷姆是我的

说句实话，今天两个小时就看了三篇论文。一个小时看的是摘要，还有一个小时看得是数学推导。我个人对研究一点感觉都没有，所以说了千万各位老大不要拍我，但是感觉目前RL，尤其是DeepMind的研究越来越从实用算法比较进入到数学推导了。并不是说数学推导不好，但是作为一个没有追求的人，的确是想看看RL算法当中一些实用的内容。

On The Effect of Auxiliary Tasks on Representation Dynamics的思路还是很清奇的。从整体来说，这篇文章主要考虑的是从数学角度看Auxiliary Task的作用。大体结论是，很多Auxilliary Task和一些数学形式是有所等价的，根据这些理论可以选出来一些问题解决，比如说Sparse Reward的问题。

Accelerated Forward-Backward Optimization using Deep Learning就更偏理论一些。整体来说，这篇文章的套路就是一大堆数学推导里面扔个深度学习网络。理论上来说的确挺有意思的，尤其是对Proximal Methods感兴趣的同学可以看看。

最后一篇就比较老了，Learning by playing solving sparse reward tasks from scratch基本上说的还是多任务学习，这里面比较有意思的还是怎么选任务。从算法角度，作者给出了一些方法，但是从实践角度，似乎还得自己设计。