TensorFlow迭代速度变慢的问题

Posted 2020-10-19 代码空间

最近用TensorFlow实现遗传算法(Genetic Algorithms)，发现迭代速度越来越慢，用time.time()观察以后，发现每次迭代都要比上一次慢0.5秒左右，但是每次迭代的计算量是差不多的。研究后发现，这是因为每次迭代都在计算图(Graph)里面增加了新的节点，节点越来越多，导致Memory Leak，迭代速度越来越慢。为了验证是否是这个原因造成的，增加了一行代码锁定图：

graph.finalize()

结果报错，说明确实是这个原因造成的。

解决的办法是，每次迭代前重置默认图，然后新建一个图，将新建的图作为默认图，然后再向图里面增加节点。代码如下：

    tf.reset_default_graph()
    graph = tf.Graph()
    with graph.as_default() as g:

加上这几句代码以后，每次迭代的运行时间就差不多了。