关于排查python内存泄露的简单总结

Posted 2022-11-02 lanyangsh

这次的内存泄露问题是发生在多线程场景下的。

各种工具都试过了，gc,objgraph, pdb,pympler等，仍然没有找到问题所在。
pdb感觉用起来很方便，可以调试代码，对原来的代码无侵入性。

排查问题的过程中，多线程场景下，相关的工具，显得无力的。
使用objgraph时，代码执行很长时间后，show_growth()显示没有新创建的对象。这个可能是因为objgraph只针对当前线程的上下文。
pympler，也是同样的问题。

最后，是通过分析进程的资源占用数据，找到的问题位置。

总结一下，
关于python内存泄露，这并不是一个很热点的问题。
使用python几年以来，也是第一次碰到。请教了很多同事，他们也表示没遇到过类似问题。

所以，有理由相信，如果真的遇到内存泄露，首先要检查是否引入了一个陌生的第三方包，以及其使用方法是否正确。

我这次遇到的内存泄露问题，就是第三方包导致的，频繁调用第三方包的函数，使用的对象没有及时释放，从而内存持续增长。