pandas read_csv 和使用 usecols 过滤列

Posted 2023-02-23

【中文标题】pandas read_csv 和使用 usecols 过滤列

【英文标题】：pandas read_csv and filter columns with usecols

【发布时间】：2013-02-07 15:37:55

【问题描述】：

当我使用 usecols 过滤列并使用多个索引时，我有一个 csv 文件无法正确输入 pandas.read_csv。

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

我希望 df1 和 df2 除了缺少虚拟列之外应该是相同的，但是这些列的标签错误。日期也被解析为日期。

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

使用列号而不是名称会给我同样的问题。我可以通过在 read_csv 步骤之后删除虚拟列来解决此问题，但我试图了解出了什么问题。我正在使用熊猫 0.10.1。

编辑：修复了错误的标头使用。

【问题讨论】：

另外，您对 header 和 names 关键字的使用不正确（这就是您的示例中缺少第一行的原因。header 需要一个 int（默认为 0）作为带有标题的行。因为您给出解释为 1 的“True”，所以第二行（第一个数据行）用作标题并且丢失了。但是列名是正确的，因为您使用 names 参数覆盖它. 但是您可以保留它们，并且默认情况下第一行用于列名。但是，它并不能解决您最初的问题。

这看起来像一个usecols 错误。可能与bug 2654有关？

没有名称和标题参数的错误仍然存​​在，很好的发现。

@andy 我会再戳一下，然后将其提交给 pandas 错误。我很欣赏健全性检查。

【参考方案1】：

解决办法在于理解这两个关键字参数：

names

仅在文件中没有标题行并且您想使用列名而不是整数索引指定其他参数（例如 usecols）时才需要。

usecols

应该在将整个 DataFrame 读入内存之前提供一个过滤器；如果使用得当，就永远不需要在阅读后删除列。

所以因为你有一个标题行，传递header=0 就足够了，另外传递names 似乎会混淆pd.read_csv。

从第二次调用中删除 names 会得到所需的输出：

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

这给了我们：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

【讨论】：

这是解析 CSV 数据的教科书解决方案，但当时我打算使用 names 参数，因为真实数据没有标题。

在这种情况下，您不会指定header=0。你会想使用header=None，然后再使用names。

但是对于想要保留@Mack 的列，仍然使用带有整数索引的usecols？

@Mr_and_Mrs_D 在我们讨论的情况下，如果你不通过names，你只需要使用整数索引。你可以在usecols 中使用索引，但是如果你要传递names 无论如何（如果你想使用这些名称指定parse_dates 和index_col，你仍然需要这样做），你不妨使用usecols 中的名称，因为您不太可能弄错。

【参考方案2】：

这段代码实现了你想要的 --- 也很奇怪而且肯定有问题：

我观察到它在以下情况下起作用：

a) 你指定index_col rel。到你真正使用的列数——所以在这个例子中它是三列，而不是四列（你删除 dummy 并从那时起开始计数）

b) parse_dates 相同

c) usecols 不是这样；) 原因很明显

d) 在这里我调整了 names 以反映这种行为

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

打印出来的

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

【讨论】：

谢谢。我从来没有想出重新排列names 和基于usecols 的数字的正确组合，所以数据是正确的。

【参考方案3】：

如果您的 csv 文件包含额外数据，则导入后的 DataFrame 中的列可以是 deleted。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

这给了我们：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

【讨论】：

为什么 index_col 在我的情况下会产生问题，我尝试按照您的建议使用列名，但如果我通过了列号，它就成功了。

这是一种资源的浪费

【参考方案4】：

您只需添加index_col=False 参数

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1