Python Pandas 追加数据框列表 [关闭]

Posted 2023-03-12

【中文标题】Python Pandas 追加数据框列表 [关闭]

【英文标题】：Python Pandas Append List of Dataframes [closed]

【发布时间】：2014-10-20 03:45:30

【问题描述】：

这是一个简单的问题，但我认为以前没有人问过。

如果我有一个数据框列表（由于多处理，它们需要采用这种格式），

df_list=[df1,df2,...,dfn]

有没有一种优雅的方式来追加它们？一个班轮会更好。

【问题讨论】：

你看concat了吗？

【参考方案1】：

以下并行处理示例通过使用 concat 方法在IPython 中工作：

    from IPython import parallel
    clients = parallel.Client() #a lightweight handle on all the engines of a cluster
    clients.block = True  # use synchronous computations
    print(clients.ids)

    dview = clients[:] #dview = clients.direct_view()
    dview.block = True

    dview.scatter("experiment", myDataFrame) # <myDataFrame> scattered as <experiment> to the engines
    dview["wlist_ptrn"] = wlist_ptrn
    dview.execute("experiment['allFeats'] = experiment.ttext.str.findall(wlist_ptrn)")
    return pd.concat(dview.gather("experiment")) # gather method returns a list of data frames

我希望它对多处理模块输出有用。