关于Python字符编码encode和decode

Posted 2020-10-08

（注：本文部分内容摘自互联网，由于作者水平有限，不足之处，还望留言指正。）

      记得几天前，部门的一个小姑娘问我，怎么她Python打印出来的中文信息都乱码了？我走过去，略思一二，瞬间给她搞定，其实这是字符编码转换的问题。这时，我注意到小姑娘流露出一丝丝崇拜的眼神。所以我想，如果你连编码问题都搞不定，还怎么泡妞啊。可能一部分人也会进入这种误区，我以我小学生的水平，把我的理解结合网上的资料写下来。

     注意：Python3默认编码是unicode；而Python2是ASCII码。Windows环境默认是gbk编码。

     常见编码错误原因：

          1. Python解释器的默认编码

          2. Python源文件文件编码

          3. Terminal使用的编码

          4. 操作系统的语言设置

     一、 编码的种类

         I、ASCII 占1个字节，只支持英文

         II、GB2312 占2个字节，支持6700+汉字

         III、GBK GB2312的升级版，支持21000+汉字，中文2个字节。

         IV、Unicode 2-4字节 已经收录136690个字符

         V、UTF-8： 使用1、2、3、4个字节表示所有字符；优先使用1个字符、无法满足则使增加一个字节，最多4个字节。英文占1个字

                节、欧洲语系占2个、东亚占3个，其它及特殊字符占4个。中文3个字节。

         VI、UTF-16： 使用2、4个字节表示所有字符；优先使用2个字节，否则使用4个字节表示。

    二、 Python3的执行过程

        1.解释器找到代码文件，把代码字符串按文件头定义的编码加载到内存，转成unicode

        2.把代码字符串按照语法规则进行解释，

        3.所有的变量字符都会以unicode编码声明

 

        Py3 自动把文件编码转为unicode，Python2并不会自动的把文件编码转为unicode存在内存里。需要手动转码。

    三、手动转码规则

        UTF-8 --> decode 解码 --> Unicode

        Unicode --> encode 编码 --> GBK / UTF-8 等

        使用type可以查看编码形式，unicode是‘unicode’,gbk和utf-8是‘str或bytes’。

   实例：

        Python2中默认是ASCII码

#coding=utf-8
#Python2中默认是ASCII码，一般会加入以utf-8编程
a = ‘编码‘                       # a是utf-8类型
b = a.decode(‘utf-8‘)       # b是Unicode类型
c = b.encode(‘gbk‘)        #c是gbk类型
d = c.decode(‘gbk‘).encode(‘utf-8‘)   #先将c转换成Unicode，再转成utf-8
print a ,b,c,d
print type(a),type(b),type(c),type(d)

输出结果

          Python3中默认是unicode

a = ‘编码‘                       # a是unicode类型
b = a.encode(‘utf-8‘)       # b是utf-8类型
c = a.encode(‘gbk‘)        #c是gbk类型
print (a ,b,c)
print (type(a),type(b),type(c))
#python3默认是unicode类型

输出结果

        在Windows中默认gbk

>>> a = ‘编码‘
>>> b = a.decode(‘gbk‘) #windows默认是gbk,先解码成unicode
>>> c = b.encode(‘utf-8‘) #unicode转换成utf-8
>>> a
‘\\xb1\\xe0\\xc2\\xeb‘
>>> b
u‘\\u7f16\\u7801‘
>>> c
‘\\xe7\\xbc\\x96\\xe7\\xa0\\x81‘
>>> print(a,b,c)
(‘\\xb1\\xe0\\xc2\\xeb‘, u‘\\u7f16\\u7801‘, ‘\\xe7\\xbc\\x96\\xe7\\xa0\\x81‘)
>>> type(a)
<type ‘str‘>
>>> type(b)
<type ‘unicode‘>
>>> type(c)
<type ‘str‘>
>>>

        就写这些吧。

       哎，我们曾经有梦，可是那一年毕业了，梦去另一个城市搬砖了。梦是我同学呀。