Pandas 在读取制表符分隔的数据时似乎忽略了第一列名称，给出 KeyError
Posted
技术标签:
【中文标题】Pandas 在读取制表符分隔的数据时似乎忽略了第一列名称，给出 KeyError【英文标题】：Pandas seems to ignore first column name when reading tab-delimited data, gives KeyError 【发布时间】：2014-03-15 09:58:57 【问题描述】：我在 Ubuntu 13.10 上的 ipython3 中使用 pandas 0.12.0，以便在 txt 文件中处理大型制表符分隔的数据集。使用 read_table 从 txt 创建 DataFrame 似乎可行，并且第一行被读取为标题，但尝试使用其名称作为索引访问第一列会引发 KeyError。我不明白为什么会发生这种情况，因为所有列名似乎都已被正确读取，并且所有其他列都可以通过这种方式建立索引。
数据如下：
RECORDING_SESSION_LABEL LEFT_GAZE_X LEFT_GAZE_Y RIGHT_GAZE_X RIGHT_GAZE_Y VIDEO_FRAME_INDEX VIDEO_NAME
73_1 . . 395.1 302 . .
73_1 . . 395 301.9 . .
73_1 . . 394.9 301.7 . .
73_1 . . 394.8 301.5 . .
73_1 . . 394.6 301.3 . .
73_1 . . 394.7 300.9 . .
73_1 . . 394.9 301.3 . .
73_1 . . 395.2 302 1 1_1_just_act.avi
73_1 . . 395.3 302.3 1 1_1_just_act.avi
73_1 . . 395.4 301.9 1 1_1_just_act.avi
73_1 . . 395.7 301.5 1 1_1_just_act.avi
73_1 . . 395.9 301.5 1 1_1_just_act.avi
73_1 . . 396 301.5 1 1_1_just_act.avi
73_1 . . 395.9 301.5 1 1_1_just_act.avi
15_1 395.4 301.7 . . . .
分隔符绝对是制表符，并且没有尾随或前导空格。
这个最小程序出现错误：
import pandas as pd
samples = pd.read_table('~/datafile.txt')
print(samples['RECORDING_SESSION_LABEL'])
给出错误：
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
<ipython-input-65-137d3c16b931> in <module>()
----> 1 print(samples['RECORDING_SESSION_LABEL'])
/usr/lib/python3/dist-packages/pandas/core/frame.py in __getitem__(self, key)
2001 # get column
2002 if self.columns.is_unique:
-> 2003 return self._get_item_cache(key)
2004
2005 # duplicate columns
/usr/lib/python3/dist-packages/pandas/core/generic.py in _get_item_cache(self, item)
665 return cache[item]
666 except Exception:
--> 667 values = self._data.get(item)
668 res = self._box_item_values(item, values)
669 cache[item] = res
/usr/lib/python3/dist-packages/pandas/core/internals.py in get(self, item)
1654 def get(self, item):
1655 if self.items.is_unique:
-> 1656 _, block = self._find_block(item)
1657 return block.get(item)
1658 else:
/usr/lib/python3/dist-packages/pandas/core/internals.py in _find_block(self, item)
1934
1935 def _find_block(self, item):
-> 1936 self._check_have(item)
1937 for i, block in enumerate(self.blocks):
1938 if item in block:
/usr/lib/python3/dist-packages/pandas/core/internals.py in _check_have(self, item)
1941 def _check_have(self, item):
1942 if item not in self.items:
-> 1943 raise KeyError('no item named %s' % com.pprint_thing(item))
1944
1945 def reindex_axis(self, new_axis, method=None, axis=0, copy=True):
KeyError: 'no item named RECORDING_SESSION_LABEL'
只需执行print(samples) 即可得到打印整个表格的预期输出，包括第一列及其标题。尝试打印任何其他列（即，完全相同的代码，但将“RECORDING_SESSION_LABEL”替换为“LEFT_GAZE_X”）可以正常工作。此外，标题似乎已正确读取，并且 pandas 将“RECORDING_SESSION_LABEL”识别为列名。这可以通过使用 .info() 方法并在读取样本后查看 .columns 属性来证明：
>samples.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 28 entries, 0 to 27
Data columns (total 7 columns):
RECORDING_SESSION_LABEL 28 non-null values
LEFT_GAZE_X 28 non-null values
LEFT_GAZE_Y 28 non-null values
RIGHT_GAZE_X 28 non-null values
RIGHT_GAZE_Y 28 non-null values
VIDEO_FRAME_INDEX 28 non-null values
VIDEO_NAME 28 non-null values
dtypes: object(7)
>print(samples.columns)
Index(['RECORDING_SESSION_LABEL', 'LEFT_GAZE_X', 'LEFT_GAZE_Y', 'RIGHT_GAZE_X', 'RIGHT_GAZE_Y', 'VIDEO_FRAME_INDEX', 'VIDEO_NAME'], dtype=object)
当使用 ipython 的制表符补全时，会发生另一个我认为相关的错误行为，它允许我访问样本列，就好像它们是属性一样。它适用于除第一列之外的每一列。 IE;用>samples.R 敲制tab 键只建议samples.RIGHT_GAZE_X samples.RIGHT_GAZE_Y。
那么为什么它在查看整个数据帧时表现正常，但在尝试按其名称访问第一列时失败，即使它似乎已正确读取该名称？
【问题讨论】：
如果这里的所有问题都写得这么好。 您的代码适用于 0.10.1 和 0.13.1-167-g7f81545，这是我手头仅有的两个 Python 3 版本。samples.iloc[:,0] 工作，samples.iloc[:,0].name 给 'RECORDING_SESSION_LABEL'？
如果只解析文件的前两行（即标题行+一行数据）会发生什么？您发布的示例对我有用（在将空格转换为制表符之后），但我假设您正在处理一个更大的文件，其中某些数据导致错误。
另外，还有一个方便的检查数据的技巧，可能对这里有帮助：head -2 < ~/datafile.txt | od -c。
@DSM: samples.iloc[:,0] 显然正确打印了第一列，但samples.iloc[:,0].name 给出了'\ufeffRECORDING_SESSION_LABEL'。谷歌告诉我这是一个零宽度不间断空间 BOM，所以数据没有像我想象的那样形成。查看头部的@robbles 代码给出了输出：0000000 357 273 277 R E C O R D I N G _ S E S \ 0000020 S I O N _ L A B E L \t L E F T _ 大概有一种方法可以告诉 read_csv 忽略此领先信息？编辑：`samples['\ufeffRECORDING_SESSION_LABEL'] 打印列。
【参考方案1】：
这似乎（与）一个已知问题有关，请参阅GH #4793。使用'utf-8-sig' 作为编码似乎有效。没有它，我们有：
>>> df = pd.read_table("datafile.txt")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
'\xef\xbb\xbfRECORDING_SESSION_LABEL'
但有了它，我们有
>>> df = pd.read_table("datafile.txt", encoding="utf-8-sig")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
u'RECORDING_SESSION_LABEL'
>>> df["RECORDING_SESSION_LABEL"].max()
u'73_1'
（上面使用 Python 2，但 Python 3 也是如此。）
【讨论】：
这对于\xef\xbb\xbf 的有效 UTF-8 BOM 来说很好。看起来有问题的文件正在使用“\xfe\xff”，但它不是有效的 UTF-16。我认为唯一合理的方法是手动删除 BOM。【参考方案2】：
听起来您只需要有条件地从文件开头删除 BOM。您可以使用文件周围的包装器来执行此操作，如下所示：
def remove_bom(filename):
fp = open(filename, 'rbU')
if fp.read(2) != b'\xfe\xff':
fp.seek(0, 0)
return fp
# read_table also accepts a file pointer, so we can remove the bom first
samples = pd.read_table(remove_bom('~/datafile.txt'))
print(samples['RECORDING_SESSION_LABEL'])
【讨论】：
当我在 ipython3 中以交互方式尝试时，此代码不起作用（我得到与以前相同的错误），当我尝试用\ufeff 代替 \xfe\xff 时仍然不起作用。我尝试只读取第一个字节，不管它是什么，然后在运行samples = pd.read_table(filename) 之前运行fp = open(filename) 和fp.read(1) 从那里继续。不是很pythonic，但它有效 - 'RECORDING_SESSION_LABEL' 现在可以作为一个键。
@RobTeszka 抱歉 - 我错过了您问题中关于 python 3 的部分。你是对的，这个 sn-p 在 3 中不太适用，因为文件实例将尝试读取 unicode，而不是原始字节。如果您不需要处理数据中的 unicode，您只需将第一行更改为 fp = open(filename, 'rbU') 即可以二进制模式打开它。
和 '\xfe\xff' 到 b'\xfe\xff' 因为它将被读取为字节，而不是 str【参考方案3】：
我也偶然发现了类似的问题。 当我阅读为 df = pandas.read_csv(csvfile, sep) 时，第一列的名称有这种奇怪的格式：
df.columns[0]
返回了这个结果：
'\xef\xbb\xbfColName'
当我尝试选择此列时，出现错误：
df.ColName
返回
AttributeError: 'DataFrame' object has no attribute 'ColName'
读完这篇文章后，我只是使用我的外部程序 Sublime 来更改编码并将文件另存为新文件（使用编码 UTF-8 保存，但没有 BOM）。
之后，pandas 正确读取了第一列名称，我可以使用df.ColName 选择它并返回正确的值。这么小的事情，花了45分钟才解决。
TLDR：使用不带 BOM 的编码保存文件。
【讨论】：
【参考方案4】：我认为您遇到的问题只是 datafile.txt 中的“标签”实际上不是标签。 （当我使用您的代码阅读它时，数据框有 1 列和 15 行。）您可以执行正则表达式搜索和替换，或者，按原样解析它：
import pandas as pd
from numpy import transpose
with open('~/datafile.txt', 'r') as datafile:
data = datafile.read()
while ' ' in data:
data = data.replace(' ', ' ')
data = transpose([row.split(' ') for row in data.strip().split('\n')])
datadict =
for col in data:
datadict[col[0]] = col[1:]
samples = pd.DataFrame(datadict)
print(samples['RECORDING_SESSION_LABEL'])
这在您的 datafile.txt 上对我来说没问题：生成的数据框有 15 行 x 7 列。
【讨论】：
以上是关于Pandas 在读取制表符分隔的数据时似乎忽略了第一列名称，给出 KeyError的主要内容，如果未能解决你的问题，请参考以下文章