Pandas - 将大型数据框切成块

Posted 2023-02-23

【中文标题】Pandas - 将大型数据框切成块

【英文标题】：Pandas - Slice large dataframe into chunks

【发布时间】：2017-11-27 12:33:36

【问题描述】：

我有一个大数据框（>3MM 行），我试图通过一个函数（下面的函数已大大简化），并且我不断收到Memory Error 消息。

我认为我将太大的数据框传递给函数，所以我正在尝试：

1) 将数据帧分割成更小的块（最好由AcctName 分割）

2) 将数据框传递给函数

3) 将数据帧连接回一个大数据帧

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

我知道我的函数可以正常工作，因为它可以在较小的数据帧（例如 40,000 行）上工作。我尝试了以下方法，但未能将小数据帧连接回一个大数据帧。

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = elem: pd.DataFrame for elem in AcctNames
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

我如何设想数据帧被拆分：

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

【参考方案1】：

您可以使用列表推导将数据框拆分为包含在列表中的较小数据框。

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

或者使用 numpy array_split:

list_df = np.array_split(df, n)

您可以通过以下方式访问块：

list_df[0]
list_df[1]
etc...

然后您可以使用 pd.concat 将其组装回一个数据帧。

按帐户名称

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)

【讨论】：

谢谢斯科特！有没有办法根据 AcctName 而不是块大小拆分成更小的数据帧？

@WaltReed 使用 groupby 尝试第二部分。

好的，太好了，成功了！我在一个函数中调用它，但是当我尝试查看新的数据帧 after 运行该函数时，我收到错误NameError: name 'new_df' is not defined。我在这里错过了什么？

如果您在函数内部创建了该列表，则它是一个局部变量。您可能需要将关键字 global 放在 list_df = []

前面

可以用len(df)代替df.shape[0]。

【参考方案2】：

我喜欢@ScottBoston 的回答，不过，我还没有记住咒语。这是一个执行相同操作的更详细的函数：

def chunkify(df: pd.DataFrame, chunk_size: int):
    start = 0
    length = df.shape[0]

    # If DF is smaller than the chunk, return the DF
    if length <= chunk_size:
        yield df[:]
        return

    # Yield individual chunks
    while start + chunk_size <= length:
        yield df[start:chunk_size + start]
        start = start + chunk_size

    # Yield the remainder chunk, if needed
    if start < length:
        yield df[start:]

要重建数据框，将每个块累积在一个列表中，然后pd.concat(chunks, axis=1)

【参考方案3】：

我建议使用依赖项more_itertools。它处理所有边缘情况，例如数据帧的不均匀分区，并返回一个迭代器，这将使事情变得更高效。

（使用来自@Acumenus 的代码更新）

from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

【讨论】：

你不能做点更直接的事情吗：for chunk in sliced(df, CHUNK_SIZE)?