Pandas DataFrame 到列表列表

Posted 2023-03-11

【中文标题】Pandas DataFrame 到列表列表

【英文标题】：Pandas DataFrame to List of Lists

【发布时间】：2015-03-16 09:44:12

【问题描述】：

将列表列表转换为 pandas 数据框很容易：

import pandas as pd
df = pd.DataFrame([[1,2,3],[3,4,5]])

但是如何将 df 转回列表列表？

lol = df.what_to_do_now?
print lol
# [[1,2,3],[3,4,5]]

【问题讨论】：

pd.DataFrame.what_to_do_now = lambda self: self.values.tolist(); lol = df.what_to_do_now(); print(lol) # [[1,2,3],[3,4,5]] 如果你相信它，它会起作用。

【参考方案1】：

您可以访问底层数组并调用其tolist 方法：

>>> df = pd.DataFrame([[1,2,3],[3,4,5]])
>>> lol = df.values.tolist()
>>> lol
[[1L, 2L, 3L], [3L, 4L, 5L]]

【讨论】：

L 表示 long，而不是 int。

从 v0.24 开始，it would be better to use df.to_numpy().tolist().

注意，这不会保留列顺序。所以要小心

没有理由不保留列顺序。

@RussellLego 这似乎有点奇怪，你知道一个可以证明这一点的例子吗？

【参考方案2】：

如果数据具有要保留的列和索引标签，则有几个选项。

示例数据：

>>> df = pd.DataFrame([[1,2,3],[3,4,5]], \
       columns=('first', 'second', 'third'), \
       index=('alpha', 'beta')) 
>>> df
       first  second  third
alpha      1       2      3
beta       3       4      5

其他答案中描述的tolist() 方法很有用，但只产生核心数据 - 根据您的需要，这可能还不够。

>>> df.values.tolist()
[[1, 2, 3], [3, 4, 5]]

一种方法是使用df.to_json() 将DataFrame 转换为json，然后再次解析。这很麻烦，但确实有一些优点，因为to_json() 方法有一些有用的选项。

>>> df.to_json()

  "first":"alpha":1,"beta":3,
  "second":"alpha":2,"beta":4,"third":"alpha":3,"beta":5


>>> df.to_json(orient='split')

 "columns":["first","second","third"],
 "index":["alpha","beta"],
 "data":[[1,2,3],[3,4,5]]

麻烦但可能有用。

好消息是为列和行构建列表非常简单：

>>> columns = [df.index.name] + [i for i in df.columns]
>>> rows = [[i for i in row] for row in df.itertuples()]

这会产生：

>>> print(f"columns: columns\nrows: rows") 
columns: [None, 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

如果None作为索引的名称很麻烦，请重命名：

df = df.rename_axis('stage')

然后：

>>> columns = [df.index.name] + [i for i in df.columns]
>>> print(f"columns: columns\nrows: rows") 

columns: ['stage', 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

【讨论】：

如果你有一个多级索引，索引元组将是生成行的第一个元素。您需要进一步的步骤来拆分它。

使用DataFrame.itertuples() 或DataFrame.to_records() 会不会更简单？

@AMC 也许，我不知道，也许？为什么不在您自己的答案中添加对这种想法的适当处理，而不是自以为是？

@AndrewE 嗯，仍然值得讨论和改进现有答案。

【参考方案3】：

我想保留索引，所以我修改了这个解决方案的原始答案：

list_df = df.reset_index().values.tolist()

现在您可以将其粘贴到其他地方（例如粘贴到 Stack Overflow 问题中），然后重新创建它：

pd.Dataframe(list_df, columns=['name1', ...])
pd.set_index(['name1'], inplace=True)

【参考方案4】：

我不知道它是否符合您的需求，但您也可以这样做：

>>> lol = df.values
>>> lol
array([[1, 2, 3],
       [3, 4, 5]])

这只是 ndarray 模块中的一个 numpy 数组，它可以让你做所有常见的 numpy 数组的事情。

【讨论】：

加 1。在实践中，通常不需要将 NumPy 数组转换为列表列表。

【参考方案5】：

我遇到了这个问题：如何让 df 的标题位于第 0 行，以便将它们写入 excel 中的第 1 行（使用 xlsxwriter）？提出的解决方案都没有奏效，但它们为我指明了正确的方向。我只需要多一行代码

# get csv data
df = pd.read_csv(filename)

# combine column headers and list of lists of values
lol = [df.columns.tolist()] + df.values.tolist()

【讨论】：

@Timothy 我需要贡献更多才能投票给你

【参考方案6】：

也许有些东西发生了变化，但这会返回一个 ndarrays 列表，它可以满足我的需要。

list(df.values)

【参考方案7】：

注意：我在 Stack Overflow 上看到过很多案例，其中完全没有必要将 Pandas Series 或 DataFrame 转换为 NumPy 数组或纯 Python 列表。如果您是该库的新手，请考虑仔细检查这些 Pandas 对象是否已经提供了您需要的功能。

引用@jpp 的comment：

在实践中，通常不需要将 NumPy 数组转换为列表列表。

---

如果 Pandas DataFrame/Series 不起作用，您可以使用内置的 DataFrame.to_numpy 和 Series.to_numpy 方法。

【讨论】：

这个答案仅代表您自己的信念。坦率地说，这有点尴尬。将数据帧转换为列表/数组有完全正当的理由，高级用户肯定知道。

@NicolasGervais 这可能有点太多了，是的，我会编辑它以减少概括。 将数据框转换为列表/数组有完全正当的理由 当然，我的回答并没有说任何相反的东西。 高级用户肯定知道。我不明白那个刺拳的意义。在注意到许多人将系列转换为 ndarray 或列表，并将 ndarray 转换为列表后，我写了这个答案，仅仅是因为他们不知道这些对象支持哪些操作。

我指的是非常明显的案例，比如for elem in some_series.values.tolist():，因为他们不知道您可以迭代系列的元素。我不确定这个答案有什么可怕的地方。

【参考方案8】：

"df.values" 返回一个 numpy 数组。这不会保留数据类型。整数可能会转换为浮点数。

df.iterrows() 返回一个也不能保证保留数据类型的系列。见：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.iterrows.html

下面的代码转换为列表并保留数据类型：

rows = [list(row) for row in df.itertuples()]

【参考方案9】：

如果您希望将Pandas DataFrame 转换为表格（列表列表）并包含标题列，这应该可以：

import pandas as pd
def dfToTable(df:pd.DataFrame) -> list:
    return [list(df.columns)] + df.values.tolist()

用法（在 REPL 中）：

>>> df = pd.DataFrame(
             [["r1c1","r1c2","r1c3"],["r2c1","r2c2","r3c3"]]
             , columns=["c1", "c2", "c3"])
>>> df
     c1    c2    c3
0  r1c1  r1c2  r1c3
1  r2c1  r2c2  r3c3
>>> dfToTable(df)
[['c1', 'c2', 'c3'], ['r1c1', 'r1c2', 'r1c3'], ['r2c1', 'r2c2', 'r3c3']]

【参考方案10】：

迄今为止提出的解决方案都受到“重新发明***”方法的影响。引用@AMC：

如果您是该库的新手，请考虑仔细检查这些 Pandas 对象是否已经提供了您需要的功能。

如果您将数据框转换为列表列表，您将丢失信息 - 即索引和列名称。

我的解决方案：使用to_dict()

dict_of_lists = df.to_dict(orient='split')

这将为您提供包含三个列表的字典：index、columns、data。如果您确定确实不需要列和索引名称，则可以使用

dict_of_lists['data']

【讨论】：

上面提出的解决方案仍然是“有损”的。您将丢失索引和列的名称（df.index.name 和 df.columns.name）

【参考方案11】：

与问题不太相关，但具有相同期望的另一种风味

将数据框系列转换为列表列表以使用 Plotly 中的 create_distplot 绘制图表

    hist_data=[]
    hist_data.append(map_data['Population'].to_numpy().tolist())

【参考方案12】：

我们可以使用 DataFrame.iterrows() 函数遍历给定 Dataframe 的每一行，并根据每一行的数据构造一个列表：

# Empty list 
row_list =[] 

# Iterate over each row 
for index, rows in df.iterrows(): 
    # Create list for the current row 
    my_list =[rows.Date, rows.Event, rows.Cost] 

    # append the list to the final list 
    row_list.append(my_list) 

# Print 
print(row_list) 

我们可以成功地将给定数据框的每一行提取到一个列表中

【讨论】：

这不是一个好主意，尽量避免使用 df.iterrows 因为它是反模式并且一旦 df 变大就会变慢：***.com/questions/16476924/…

【参考方案13】：

这很简单：

import numpy as np

list_of_lists = np.array(df)

【讨论】：

这与使用 DataFrame.values 或 DataFrame.to_numpy() 有何不同？不要介意它创建一个 NumPy 数组，而不是一个普通的 Python 列表。