Flask 推理模型，显存一直增长。

Posted 2022-05-16 AI浩

问题
使用Flask调用DNN模型推理API时，每调用一次API，显存持续增长，直至最终显存爆炸强制退出程序。
解决方法

flask2.0的app.run()中默认打开了threaded=True来支持多线程并发请求，从而导致显存泄漏。每次调用，显存就持续增长。
解决方法为：把多线程改为单线程，设置app.run()中threaded和debug为False。示例如下：

然后，就可以正常推理了。

下面的没有用啊！

下面的没有用啊！

下面的没有用啊！

下面的没有用啊！
写够500字，否则
文章质量提示
文章质量提示
此文章质量较低，不会获得较多流量扶持！ 可能的原因为：篇幅太短，广告涉嫌违规，外链过多，缺少代码，图片涉嫌违规
文章质量提示
此文章质量较低，不会获得较多流量扶持！ 可能的原因为：篇幅太短，广告涉嫌违规，外链过多，缺少代码，图片涉嫌违规
此文章质量较低，不会获得较多流量扶持！ 可能的原因为：篇幅太短，广告涉嫌违规，外链过多，缺少代码，图片涉嫌违规

2022深度学习开发者峰会 5月20日13:00让我们相聚云端，共襄盛会！