Pandas：这里的内存泄漏在哪里？

Posted 2023-03-11

【中文标题】Pandas：这里的内存泄漏在哪里？

【英文标题】：Pandas: where's the memory leak here?

【发布时间】：2012-05-22 23:35:17

【问题描述】：

我在 python 中使用 pandas 库时遇到了内存泄漏问题。我在我的类中创建了pandas.dataframe 对象，并且我有根据我的条件更改数据框大小的方法。在更改数据框大小并创建新的熊猫对象后，我在课堂上重写了原始的 pandas.dataframe。但是即使在显着减少初始表之后，内存使用率也非常高。一些简短示例的代码（我没有编写流程管理器，请参阅任务管理器）：

import time, string, pandas, numpy, gc
class temp_class ():

    def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):

        self.nrow = nrow
        self.ncol = ncol
        self.timetest = timetest

    def createDataFrame(self):

        print('Check memory before dataframe creating')
        time.sleep(self.timetest)
        self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
            index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
        print('Check memory after dataFrame creating')
        time.sleep(self.timetest)

    def changeSize(self, from_ = 0, to_ = 100):

        df_new = self.df[from_:to_].copy()
        print('Check memory after changing size')
        time.sleep(self.timetest)

        print('Check memory after deleting initial pandas object')
        del self.df
        time.sleep(self.timetest)

        print('Check memory after deleting copy of reduced pandas object')
        del df_new
        gc.collect()
        time.sleep(self.timetest)

if __name__== '__main__':

    a = temp_class()
    a.createDataFrame()
    a.changeSize()

在创建数据框之前，我有大约。 15 mb 的内存使用量

创建后 - 67mb

更改大小后 - 67 mb

删除原始数据帧后 - 35mb

删除缩减表后 - 31 mb。

16 mb？

我在 Windows 7 (x64) 机器上使用 python 2.7.2(x32)，pandas。版本是 0.7.3。 numpy.版本是 1.6.1

【问题讨论】：

这就是 Python 内存分配的工作方式。可能没有内存泄漏。

【参考方案1】：

需要指出的几点：

在“更改大小后检查内存”中，您尚未删除原始 DataFrame，因此这将使用更多内存

Python 解释器对占用操作系统内存有点贪心。

我对此进行了调查，可以向您保证 pandas 没有泄漏内存。我正在使用 memory_profiler (http://pypi.python.org/pypi/memory_profiler) 包：

import time, string, pandas, numpy, gc
from memory_profiler import LineProfiler, show_results
import memory_profiler as mprof

prof = LineProfiler()

@prof
def test(nrow=1000000, ncol = 4, timetest = 5):
    from_ = nrow // 10
    to_ = 9 * nrow // 10
    df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
                          index = numpy.random.randn(nrow),
                          columns = list(string.letters[0:ncol]))
    df_new = df[from_:to_].copy()
    del df
    del df_new
    gc.collect()

test()
# for _ in xrange(10):
#     print mprof.memory_usage()

show_results(prof)

这是输出

10:15 ~/tmp $ python profmem.py 
Line #    Mem usage  Increment   Line Contents
==============================================
     7                           @prof
     8     28.77 MB    0.00 MB   def test(nrow=1000000, ncol = 4, timetest = 5):
     9     28.77 MB    0.00 MB       from_ = nrow // 10
    10     28.77 MB    0.00 MB       to_ = 9 * nrow // 10
    11     59.19 MB   30.42 MB       df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
    12     66.77 MB    7.58 MB                             index = numpy.random.randn(nrow),
    13     90.46 MB   23.70 MB                             columns = list(string.letters[0:ncol]))
    14    114.96 MB   24.49 MB       df_new = df[from_:to_].copy()
    15    114.96 MB    0.00 MB       del df
    16     90.54 MB  -24.42 MB       del df_new
    17     52.39 MB  -38.15 MB       gc.collect()

确实，使用的内存比我们开始时更多。但它会泄漏吗？

for _ in xrange(20):
    test()
    print mprof.memory_usage()

然后输出：

10:19 ~/tmp $ python profmem.py 
[52.3984375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59765625]
[122.59765625]
[122.59765625]

所以实际上发生的事情是 Python 进程一直在占用一个内存池，因为它一直在使用它来避免必须不断地从主机操作系统请求更多内存（然后释放它）。我不知道这背后的所有技术细节，但至少是这样。