Python-编码这趟浑水

Posted 2020-10-19 土耳其大骗子

最近听Alex讲到python编码，还特意用博客讲解，觉得问题严重了，于是翻看各种博客，先简单的对编码错误做一个总结，其他的后续慢慢补上，还得上班、还得学习、还得写博客？感觉有点吃不消了。各位大神不喜勿喷啊。本人是Mac电脑，终端默认编码格式utf-8

原文地址

Python编码错误及解决办法

字符串是python中最常用的数据类型，而且很多时候会用一些不属于ascii字符集的字符，这是就会抛出UnicodeDecodeError:ascii codec can‘t decode byte 0xc4 in position 10:oridinal not range(128)异常。这种异常在python中很容易遇到，尤其是在python2.x中

字符串在python内部的表示是unicode编码，因此，在做编码转换是，通常需要以unicode作为转码的中间编码，即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。但是在Python2.x中默认编码格式是ascii，就是说在没有指定Python源码编码格式的情况下，源码中所有字符都被默认为ascii码。也是因为这个根本原因，在Python2.x中经常遇到UnicodeDecodeError或者UnicodeEncodeError的异常。

Unicode为了能够处理Unicode数据，同时兼容Python某些内部模块，Python2.x中提供了Unicode这种数据类型，通过decode和encode方法可以将其他编码和unicode编码相互转换。

Python常见编码异常(几乎都出现在Python2.x中)

Python中常见的编码异常包括：SyntaxError: Non-ASCII character 、UnicodeDecodeError和UnicodeEncodeError等。

1.SyntaxError: Non-ASCII character

这种异常不是很常见，但最好解决了。只要是因为Python源码文件中存在不属于ascii字符，而且同时没有声明源码的编码格式，例如

#在Python2.x中，在文件头部没有指定编码格式

s = ‘土耳其大骗子‘
print  s

#SyntaxError: Non-ASCII character ‘\xe5‘ in file /xxx/xxx/exercise-unicode.py on line 2, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

解决办法：在文件头部声明编码格式 #！-*- encoding:utf-8 -*-或#！encoding:utf-8

Python2.x中如果不在源码文件首行指定编码格式，则无法在Python源码文件中出现非ascii字符。这是由于Python解释器默认将源码认为是ascii编码格式

2.UnicodeDecodeError

这个异常则会出现在调用decode方法时，原因是Python将其他编码格式的字符转化为unicode编码，但是字符本身的编码格式和decode传入的编码格式不一致，例如：

#Python2.x中

#!encoding:utf-8

s = ‘土耳其大骗子‘
us = s.decode(‘gbk‘)

#异常
#UnicodeDecodeError: ‘gbk‘ codec can‘t decode bytes in position 4-5: illegal multibyte sequence

上面这段代码字符串字符串s默认的编码格式是“utf-8”(#!encoding:utf-8声明的意思就是：当前.py文件中所有的字符都是utf-8编码的)，但是在使用decode转化为unicode编码是传入的编码格式为“gbk”,因此在转化的时候抛出UnicodeDecodeError异常。还有一种情况是在encode的时候：

#Python2.x中
#! -*- encoding:utf-8 -*-

s = ‘土耳其大骗子‘
us = s.encode(‘gbk‘)

#输出
#UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe5 in position 0: ordinal not in range(128)

这里是s是“utf-8”编码，直接使用s.encode(‘gbk‘),实际上是使用了系统默认的defaultencoding来解码，等价于

s.decode(defaultencoding).encode(‘gbk‘)

而s的实际编码和defaultencoding(python2.x默认是ascii)不同。

3.UnicodeEncodeError

错误的decode和encode方法会出现异常，比如使用decode方法将unicode字符串转化的时候

#! -*- encoding:utf-8 -*-

s = u‘土耳其大骗子‘
us = s.decode(‘utf-8‘)

#输出
#UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-5: ordinal not in range(128)

由于在Python2.x中，字符串转化为unicode编码的时候，可以通过unicode(‘xxx‘)、u‘xxx‘、‘xxx‘.decode(‘utf-8‘),但是本示例是将unicode编码的字符串解码，于是抛出“UnicodeEncodeError”异常

 

Python中编码规范

1.遵循PEP0263原则，声明编码格式（推荐）

在PEP 0263 Defining Python Source Code Encodings中提出了对Python编码问题的最基本的解决方法：在Python源码文件中声明编码格式，最常见的声明格式如下：

#！/usr/bin/python
#! -*- encoding:utf-8 -*-

表示当前.py文件的字符串编码格式都是按照“utf-8”编码的，不是读取的文件是用“utf-8”编码读取的

2.使用 u‘中文‘ 代替中文(Python 2.x)

s1 = ‘中文‘

s2 = u‘中文‘

Python中有以上两种声明字符串变量的方式，它们的主要的是编码格式的不同，其他s1的编码格式和Python头文件声明的编码格式一致，而s2的编码格式则是unicode。如果你声明的字符串变量中包含非ascii字符，最好使用s2的的声明格式，这样你可以不需要执行decode,直接对字符串进行操作，可以避免出现一个异常。

注意：Python3中不存在 u‘xx‘的声明方式。

3.Reset默认编码

Python中出现这么多的编码问题的根本原因是Python 2x中的默认编码是ascii,所以你可以通过以下的方式修改默认的编码格式：

import sys
sys.setdefaultencoding(‘utf-8‘)

这种方法可以解决部分编码问题，但是同时也会引入很多其他问题，得不偿失，建议不要使用这种方式。