如何摆脱从 CSV 文件读取的 pandas DataFrame 中的“未命名：0”列？

Posted 2023-02-23

【中文标题】如何摆脱从 CSV 文件读取的 pandas DataFrame 中的“未命名：0”列？

【英文标题】：How to get rid of "Unnamed: 0" column in a pandas DataFrame read in from CSV file?

【发布时间】：2022-01-24 04:01:53

【问题描述】：

我有一种情况，有时当我从df 读取csv 时，我会得到一个名为unnamed:0 的不需要的类似索引的列。

file.csv

,A,B,C
0,1,2,3
1,4,5,6
2,7,8,9

CSV 是这样读取的：

pd.read_csv('file.csv')

   Unnamed: 0  A  B  C
0           0  1  2  3
1           1  4  5  6
2           2  7  8  9

这很烦人！有没有人知道如何摆脱这种情况？

【问题讨论】：

不要假设 CSV 文件一定是用 pandas 或 OP 写出的。 （通常，CSV 来自其他用户/工具/脚本，因此他们无法控制其格式。）因此，read_csv(..., index_col=[0]) 解决方法是主要的，而不是“Do pd.to_csv(..., index=False)”。

【参考方案1】：

这是索引列，传递pd.to_csv(..., index=False)首先不写出未命名的索引列，请参阅to_csv() docs。

例子：

In [37]:
df = pd.DataFrame(np.random.randn(5,3), columns=list('abc'))
pd.read_csv(io.StringIO(df.to_csv()))

Out[37]:
   Unnamed: 0         a         b         c
0           0  0.109066 -1.112704 -0.545209
1           1  0.447114  1.525341  0.317252
2           2  0.507495  0.137863  0.886283
3           3  1.452867  1.888363  1.168101
4           4  0.901371 -0.704805  0.088335

比较：

In [38]:
pd.read_csv(io.StringIO(df.to_csv(index=False)))

Out[38]:
          a         b         c
0  0.109066 -1.112704 -0.545209
1  0.447114  1.525341  0.317252
2  0.507495  0.137863  0.886283
3  1.452867  1.888363  1.168101
4  0.901371 -0.704805  0.088335

您还可以选择通过传递index_col=0 告诉read_csv 第一列是索引列：

In [40]:
pd.read_csv(io.StringIO(df.to_csv()), index_col=0)

Out[40]:
          a         b         c
0  0.109066 -1.112704 -0.545209
1  0.447114  1.525341  0.317252
2  0.507495  0.137863  0.886283
3  1.452867  1.888363  1.168101
4  0.901371 -0.704805  0.088335

【讨论】：

很多时候，您从其他地方获得的数据集已经包含此列，因此了解如何使用正确的参数生成“正确的”数据集并没有真正的帮助。有没有办法在它已经存在时加载它时消除它？

@CalvinKu 不幸的是，read_csv 没有 skipcols arg，在读取 csv 后，您可以只执行 df = df.drop(columns=df.columns[0]) 或者您可以先读取列，然后将列减去第一列类似于cols = pd.read_csv( ....., nrows=1).columns，然后再次重新读取df = pd.read_csv(....., usecols=cols[1:])，这避免了读取多余列然后将其删除的开销

最好在read_csv(..., index_col=[0]) 中包含方括号。也避免tickling the whole pre-0.16.1 deprecated index_col = False bug。

@smci 我看到了@cs95 发布的类似解决方案。只是想知道index_col=[0] 比index_col=0 更好吗？

@MrRobot：我发布了上面的链接，告诉你原因：index_col = False was deprecated way back in 0.16.1，Python 无法真正区分bool False 和int 0，所以index_col = 0 也被弃用了.将列表括号放在零周围：[0].

【参考方案2】：

这通常是由于您的 CSV 已与（未命名的）索引 (RangeIndex) 一起保存。

（实际上需要在保存 DataFrame 时进行修复，但这并不总是一种选择。）

解决方法：read_csv 与 index_col=[0] 参数

IMO，最简单的解决方案是将未命名的列读取为索引。为pd.read_csv 指定一个index_col=[0] 参数，这将在第一列中读取为索引。 （注意方括号）。

df = pd.DataFrame('x', index=range(5), columns=list('abc'))
df

   a  b  c
0  x  x  x
1  x  x  x
2  x  x  x
3  x  x  x
4  x  x  x

# Save DataFrame to CSV.
df.to_csv('file.csv')

【参考方案3】：

要获取所有未命名的列，您还可以使用正则表达式，例如df.drop(df.filter(regex="Unname"),axis=1, inplace=True)

【讨论】：

这对我来说非常有效，因为上面的 str.match 为我的日期格式的列名创建了 nans。

【参考方案4】：

另一种可能发生这种情况的情况是，如果您的数据被错误地写入您的csv 以使每一行都以逗号结尾。当您尝试将其读入df 时，这将在您的数据末尾留下一个未命名的列Unnamed: x。

【讨论】：

我用usecols=range(0,10)截掉了未命名的列

这方面的一个例子是有诸如musical_instruments_store.csvcolor,item\nbrown,piano, 之类的数据： - 您在第一行缺少一列（例如，在这种情况下为空的价格，所以它应该是colour, item, price) - 第二行尾随逗号，因此需要清理数据（因此应改为 brown,piano。

【参考方案5】：

您可以对未命名的列执行以下操作：

删除未命名的列 重命名它们（如果你想使用它们）

文件.csv

,A,B,C
0,1,2,3
1,4,5,6
2,7,8,9

#读取文件 df = pd.read_csv('file.csv')

方法一：删除未命名的列

# delete one by one like column is 'Unnamed: 0' so use it's name
df.drop('Unnamed: 0', axis=1, inplace=True)

#delete all Unnamed Columns in a single code of line using regex
df.drop(df.filter(regex="Unnamed"),axis=1, inplace=True)

方法 2：重命名未命名的列

df.rename(columns = 'Unnamed: 0':'Name', inplace = True)

如果您想在输入文件中写出空白标题，只需选择上面的“名称”为“”。

【讨论】：

只有方法 2 对我有用。非常感谢。完成了我的最后期限！

【参考方案6】：

只需使用以下命令删除该列：del df['column_name']

【讨论】：

这可能是最简单的方法

@AnshumanKumar：不，不是，最简单的方法就是使用read_csv(..., index_col=[0])。通常对于 pandas，尝试解决问题而不是花 5 分钟阅读文档然后进行试验直到您解决它只会导致/推迟进一步的问题。诚然，pandas 文档不清楚、不完整且代码滞后（欢迎使用开源！）。这就是 github 的用途。

【参考方案7】：

这样做很简单：

df = df.loc[:, ~df.columns.str.contains('^Unnamed')]

【参考方案8】：

或者：

df = df.drop(columns=['Unnamed: 0'])

【参考方案9】：

from IPython.display import display
import pandas as pd
import io


df = pd.read_csv('file.csv',index_col=[0])
df = pd.read_csv(io.StringIO(df.to_csv(index=False)))
display(df.head(5))