使用 pandas Python (pandas.io.parsers.TextFileReader) 从文件中读取数据时出现问题

Posted 2023-03-11

【中文标题】使用 pandas Python (pandas.io.parsers.TextFileReader) 从文件中读取数据时出现问题

【英文标题】：Problem reading a data from a file with pandas Python (pandas.io.parsers.TextFileReader)

【发布时间】：2019-11-04 09:17:51

【问题描述】：

我想用 pandas 从文件中读取数据集，但是当我使用 pd.read_csv() 时，程序会读取它，但是当我想查看数据框时：

pandas.io.parsers.TextFileReader 位于 0x1b3b6b3e198

作为附加信息，文件太大（大约 9 Gigas）

该文件用作垂直线的分隔符，我尝试使用 chunksize 但它不起作用。

import pandas as pd
df = pd.read_csv(r"C:\Users\dguerr\Documents\files\Automotive\target_file", iterator=True, sep='|',chunksize=1000)

我想以传统的 pandas 数据框格式导入我的数据。

【参考方案1】：

您可以通过以下方式逐块加载它：

import pandas as pd

path_to_file = "C:/Users/dguerr/Documents/Acxiom files/Automotive/auto_model_target_file"
chunk_size = 1000
for chunk in pd.read_csv(path_to_file,chunksize=chunk_size):
     # do your stuff

【讨论】：

出现错误：SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape

尝试使用新代码 @DavidMora 现在应该可以使用了

问题来自文件路径，我改了