Tensorflow 训练时运行越来越慢，重启后又变好是啥原因

Posted 2023-03-30

参考技术A 我也碰到了同样的问题。当时小郁闷了一下，好不容易把系统和各种需要的组建包都按照完毕，对，不止装了一遍。第一遍ubuntu系统安装的中文版，感觉各种不好用。于是果断刷机，再装一遍。但是，为什么跑了一晚上，每批的处理速度就从6秒一直下降到17秒，而且还有继续下降的趋势。难道是哪个组建包没有安装正确？于是将各个软件包都依次重装了一遍，都没有问题！那么问题是出在tensorflow的代码上吗？要google上面搜了一把，发现国外大牛的回答：是不断增加的computational graph导致的GPU溢出，只需在每次sess.run(init)之后，执行graph_finalize()（用手机打的字，具体命令的名字可能有误差），程序就会控制graph的不断增加，防止溢出。马上修改程序，再一执行，什么？程序报错！graph是只读的不能被更改，哎呦，我运行的示例代码居然有显示的graph.greater()操作，那么程序越跑越慢看似就是正常的了～～～哪位大牛有更好的理解，请不吝赐教！