UnicodeDecodeError，无效的继续字节

Posted 2023-02-18

【中文标题】UnicodeDecodeError，无效的继续字节

【英文标题】：UnicodeDecodeError, invalid continuation byte

【发布时间】：2011-07-29 23:33:58

【问题描述】：

为什么下面的项目失败了？为什么使用“latin-1”编解码器会成功？

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果：

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

【参考方案1】：

它是无效的 UTF-8。该字符是 ISO-Latin1 中的 e-acute 字符，这就是它成功使用该代码集的原因。

如果您不知道接收字符串的代码集，您就会遇到一些麻烦。最好为您的协议/应用程序选择一个代码集（希望是 UTF-8），然后您就拒绝那些没有解码的代码集。

如果你做不到，你就需要启发式。

【讨论】：

对于启发式方法，请参阅 chardet 库。

【参考方案2】：

因为 UTF-8 是多字节的，并且没有对应于您的 \xe9 加上后面空格的组合的字符。

为什么它应该在 utf-8 和 latin-1 中都成功？

在 utf-8 中，同一个句子应该是这样的：

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'

【讨论】：

Latin-1 是一个单字节编码系列，因此其中的所有内容都应使用 UTF-8 定义。但是为什么有时 Latin-1 会赢呢？

【参考方案3】：

在二进制中，0xE9 看起来像1110 1001。如果你读过UTF-8 on Wikipedia，你会发现这样一个字节后面必须跟两个10xx xxxx。所以，例如：

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是异常的机械原因。在这种情况下，您有一个几乎可以肯定是以 latin 1 编码的字符串。您可以看到 UTF-8 和 latin 1 看起来有何不同：

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

（注意，我在这里混合使用了 Python 2 和 3 表示。输入在任何版本的 Python 中都有效，但您的 Python 解释器实际上不太可能以这种方式同时显示 unicode 和字节字符串。）

【讨论】：

感谢（以及其他回复的人），我错误地认为 255 之前的字符会直接转换。

我在使用 .encode(latin-1) 时收到 UnicodeEncodeError: 'ascii' codec can't encode characters in position 2-3: ordinal not in range(128) 错误

【参考方案4】：

当我尝试通过pandas.read_csv 打开一个 CSV 文件时，我遇到了同样的错误 方法。

解决方案是将编码更改为latin-1：

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')

【讨论】：

这真的能解决问题吗？它基本上不是只是告诉熊猫通过降级到不太复杂的编码样式来忽略字节吗？

适用于内置 open 函数。谢谢

【参考方案5】：

如果在操作刚刚打开的文件时出现此错误，请检查您是否以'rb' 模式打开它

【讨论】：

感谢这个答案，能够避免 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd7 in position 2024079: invalid continuation byte 的错误soup = BeautifulSoup(open('webpage.html', 'rb'), 'html.parser')

【参考方案6】：

这也发生在我身上，当时我正在从 .txt 文件中读取包含希伯来语的文本。

我点击了：file -> save as 并将此文件保存为 UTF-8 编码

【参考方案7】：

在这种情况下，我尝试执行一个激活 path/file.sql 的 .py。

我的解决方案是将file.sql的编码修改为“UTF-8 without BOM”，它可以工作！

你可以用记事本++做到这一点。

我会留下我的一部分代码。

con = psycopg2.connect(host = sys.argv[1],
port = sys.argv[2],dbname = sys.argv[3],user = sys.argv[4], password = sys.argv[5])

cursor = con.cursor()
sqlfile = open(path, 'r')

【参考方案8】：

utf-8 编码错误通常出现在数值范围超过 0 到 127 的情况下。

引发此异常的原因是：

1)如果码位

为了克服这个我们有一套编码，使用最广泛的是“Latin-1，也称为ISO-8859-1”

因此 ISO-8859-1 Unicode 点 0–255 与 Latin-1 值相同，因此转换为这种编码只需将代码点转换为字节值；如果遇到大于 255 的代码点，则无法将字符串编码为 Latin-1

当您尝试加载数据集时发生此异常时，请尝试使用此格式

df=pd.read_csv("top50.csv",encoding='ISO-8859-1')

在语法末尾添加编码技术，然后接受加载数据集。

【讨论】：

您好，欢迎来到 SO！请edit您的答案，以确保它改进了此问题中已经存在的其他答案。

【参考方案9】：

使用这个，如果显示UTF-8的错误

pd.read_csv('File_name.csv',encoding='latin-1')

【参考方案10】：

当您在 pandas 中输入特定文件或数据时，就会出现这种类型的错误，例如：-

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv)

然后错误显示如下：- UnicodeDecodeError：“utf-8”编解码器无法解码位置 1 的字节 0xf4：无效的继续字节

所以为了避免这种类型的错误可以通过添加一个参数来消除

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv', encoding='ISO-8859-1')

【讨论】：

请正确格式化您的代码，click here to learn how。

【参考方案11】：

解决方案是改为“UTF-8 sin BOM”