Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence(代

Posted 在奋斗的大道

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence(代相关的知识,希望对你有一定的参考价值。

问题描述:

今天爬取了链家(长沙)二手房价格信息,准备读取相关*.csv文件进行相关数据的清洗工作,在读取*.csv 文件时。得到如下错误信息:

'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

错误大致意思:Unicode的解码(Decode)出现错误(Error)了,以gbk编码的方式去解码(该字符串变成Unicode),但是此处通过gbk的方式,却无法解码(can’t decode )。“illegal multibyte sequence”意思是非法的多字节序列,即没法(解码)了。
 

报错Python 代码片段:

with open('长沙二手房数据.csv', "rb") as f:
    csv_read = csv.reader(f)
    for line in csv_read:
        print(type('数据类型', line))
        print(line)

第一次修改:指定模式:rt ,指定编码模式:gbk, 行记录默认为' '

with open('长沙二手房数据.csv', 'rt', newline='', encoding='gbk') as f:
    csv_read = csv.reader(f)
    for line in csv_read:
        print('数据类型', type(line))
        print(line)

修改后,还是提示相同错误信息。

第二次修改:指定模式:rt ,指定编码模式:utf-8, 行记录默认为' ',省略错误信息:ignore

with open('长沙二手房数据.csv', 'rt', newline='', encoding='utf-8', errors='ignore') as f:
    csv_read = csv.reader(f)
    for line in csv_read:

数据可以正常读取。

以上是关于Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence(代的主要内容,如果未能解决你的问题,请参考以下文章

python:如何读取和处理 18GB 的​​ csv 文件? [复制]

使用 Pandas 读取大型文本文件 [重复]

Python Pandas:标记数据时出错。 C 错误:读取 1GB CSV 文件时字符串中的 EOF 开始

Python Pandas - 编写新的 CSV 标题行而不读取/重写整个文件

使用 Python 读取大型 csv 文件

如何使用 python pandas 在本地系统 Jupyter Notebook 中读取两个较大的 5GB csv 文件?如何在本地加入两个数据框进行数据分析?