Device Placement Optimization with Reinforcement Learning

Posted 2020-11-19 whig

摘要

过去许多年的神经网络计算量规模扩大了许多，现在的应对方法是使用异质的CPU和GPU混合在一起组成的系统。问题是决定现在系统中哪个神经模型放置到哪个节点上是由专家根据其经验和直觉来决定的。在本篇论文中，我们提出一个方法来优化TensorFlow的计算图谱，方法的关键是使用一个序列模型来预测TensorFlow图谱应该使用设备。预测的放置方法的运行时间是我们模型的反馈值。得到的结果显示在Inception-V3的图片分类算法，RNN LSTM和语言模型上相比于传统的手动调整方法运行的时间更短。

2. 介绍