从Python的角度来看编码与解码

Posted 2020-10-08

导语：

Python2和Python3中，因为默认字符集的不同而造成的麻烦，简直是程序员的梦魇！要彻底告别这个麻烦，就需要从本质上来理解编码和解码。

 

为什么要有编码？

对于不会英文的中国人来说，将英文翻译成中文，这个就叫做解码；而将中文翻译成英文，自然就是编码了！

这个道理在计算机中同样适用。

计算机只能识别0和1，任何文字对于计算机来说，就是0和1的排列组合。但是我们人类哪看得懂这种0和1的排列组合！

自然就需要将0和1的文字转换为我们能看得懂的文字，比如中文，英文等。

而这种0和1到文字的映射，就叫做解码；文字到0和1的映射自然就是编码了！

有了映射关系，自然就需要有个类似“表格”的东西，来记录这种映射关系了！这个“表格”就是我们常说的字符集（也叫编码集，简称编码），比如ascii编码，utf-8字符集。

习惯上，我们把人类能看懂的文字叫做字符，对应的计算机能看得懂的文字叫做字符编号（也就是字节流），而字符集就是这种字符和字符编号的映射。

 

为什么会有乱码？

上面我们说到，字符集有多种，那么问题来了。

比如，在编码时，我采用utf-8字符集进行文字到0和1的映射，但是解码时，又采用gbk的字符集进行0和1到文字的映射，

2种字符集的映射规则是不一样的！结果自然就是乱码！

这就像我买了张三家的锁，却用李四家配的钥匙来开门，能开门就见鬼了！

（其实对于计算机来说，根本没有乱码这一说法！对于特定的字符，0和1的排列组合是唯一不变的，变得是映射后的文字。）

 

关于文件编码

不知道有没有人有过这样的疑问，CPU一个只能运算0和1的器件，是如何能够处理文本、图片、视频和声音这些资源的？

其实这就要讲到文件编码。

以下文字来自知乎网友的解答：

 

作者：DJ Hitori
链接：https://www.zhihu.com/question/27805272/answer/74539468
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

文字：

有若干种标准可以用8~16位二进制数表示一个字符，比如用8位数表示英语字母数字的ASCII，用16位数表示几乎所有语言所有字符的Unicode等。以ASCII为例，这个标准用01000001这个数表示大写的A，于是某个文字处理软件看到这个数字知道这是A，然后向一个字体文件询问字母A长什么样，然后把它画在屏幕上，你就看到了A。

图像：

最简单的格式叫“位图”（BMP），用24位二进制数表示图像中的一个点，这24位数中8位表示这个点有多少红色，8位表示多少绿色，8位表示多少蓝色，三种原色组合起来就可以表示几乎所有的颜色。很多个24位数连在一起，就是很多个点，于是就组成了一幅图像。除此以外还有其他格式以更少的数字表示同样多的图像内容，如JPG、PNG等。

声音：

声音是波，是数学上的连续函数，而计算机无法理解连续函数，所以每秒取样44100次，把1秒的声音变成44100个数字记录下来，这是录音的过程。回放时，把这些数字交给声卡，声卡控制喇叭按照这些数字表示的幅度震动，就发出了声音。同样，除了44100个数字（这是WAV格式）以外还有其他格式以更少的数字表示同样多的声音，如MP3、OGG等。

视频：

既然有了图像和声音的标准，那么每秒钟24~60幅图像再加上1秒钟的声音就组成了1秒钟的视频内容。不过这种做法的数据量异常庞大，所以没人这么干，科学家们发明了各种编码方式以非常非常少（相对于未压缩）的数字表示同样多的视频内容，如H.264等。

各种软件控制CPU按照各种标准理解了多媒体内容后，计算出屏幕上每一个点应该是什么颜色（和位图一样），然后把这些计算结果交给显卡，显卡把这一堆数字表示的颜色画到屏幕上，这叫做一次刷新。一般来说每秒刷新60次，这样你就流畅地看到了你所打开的多媒体内容。

 

了解了编码和解码的大环境之后，再来看看Python中的编码和解码：

字符串类型

Python2中字符串类型有2种，unicode和str。 

>>> s = ‘中国‘
>>> s
‘\xe4\xb8\xad\xe5\x9b\xbd‘
>>> u = u‘中国‘
>>> u
u‘\u4e2d\u56fd‘
>>> type(s)
<type ‘str‘>
>>> type(u)
<type ‘unicode‘>

Python3中字符串类型只有str一种。

>>> s = ‘中国‘
>>> s
‘中国‘
>>> type(s)
<class ‘str‘>
>>> u = u‘中国‘
>>> u
‘中国‘
>>> type(u)
<class ‘str‘>

 

默认字符集

Python2中默认字符集为ascii，其中默认中文字符集为utf-8。

>>> sys.getdefaultencoding()
‘ascii‘

Python3中，无论什么文，默认字符集为utf-8。

>>> sys.getdefaultencoding()
‘utf-8‘

 

关于编码和字节流

编码的结果为字节流。

Python2，str即是字节流

>>> u.encode(‘gbk‘)
‘\xd6\xd0\xb9\xfa‘
>>> u.encode(‘utf-8‘)
‘\xe4\xb8\xad\xe5\x9b\xbd‘
>>> s
‘\xe4\xb8\xad\xe5\x9b\xbd‘

>>> s = b‘中国‘
>>> s
‘\xe4\xb8\xad\xe5\x9b\xbd‘
>>> type(s)
<type ‘str‘>
>>> bytes(s)
‘\xe4\xb8\xad\xe5\x9b\xbd‘

Python3，不能够直接定义中文字节流

>>> s.encode(‘utf-8‘)
b‘\xe4\xb8\xad\xe5\x9b\xbd‘

>>> s = b‘中国‘
  File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

 

关于解码

解码的结果为str(python3)或者unicode(python2)

Python2

>>> s.decode(‘utf-8‘)
u‘\u4e2d\u56fd‘
>>> u
u‘\u4e2d\u56fd‘

Python3

>>> a
b‘\xe4\xb8\xad\xe5\x9b\xbd‘
>>> a.decode()
‘中国‘

 

检测

可以通过isinstance()来判断类型

>>> isinstance(a,str)
True
>>> isinstance(b‘qq‘,str)
True

 

关于错误

UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xd6 in position 0: invalid continuation byte

出现上述错误的原因在于：编码时使用的字符集和解码时使用的字符集不一致。

 

拓展：

\0x：当输出的数转换为16进制只有1位时，在前面补0，如 0a，其它情况按照实际情况输出。

\x：按照输出数转换为16进制的实际位数输出。

此外，小写x和大写X也有点区别，小写的x输出小写符号的16进制，大写X则输出大写的（主要针对ABCDEF这六位）