day03-字符编码与转换

Posted 2020-09-05 涅槃之路

1、编码常识

• 在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode
• unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间
• 在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型
• 在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的
• utf-8是可变长字符编码,它是unicode的优化，所有的英文字符依然按ASCII形式存储，所有的中文字符统一是3个字节
• unicode包含了所有国家的字符编码，不同字符编码之间的转换都需要经过unicode的过程
• python本身的默认编码是utf-8

 

在Python2.X中，默认编码是ASCII

#-*- encoding:utf-8 -*-

import sys

print(sys.getdefaultencoding())  #打印当前默认编码

s = ‘你好！！！‘          

s_to_unicode = s.decode(‘utf-8‘) #需要指定编码方式为utf-8（否则会使用默认编码）

print(s_to_unicode)     #此时可以打印中文

 

2、Python2.x  utf-8转换成gbk格式

1 #-*- encoding:utf-8 -*-
2 s = ‘你好！！！‘           
3 s_to_unicode = s.decode(‘utf-8‘) #需要指定编码方式为utf-8（否则会使用默认编码）
4 s_to_gbk = s_to_unicode.encode(‘gbk‘)
5 合成一句
6 #s_to_gbk = s.decode(‘utf-8‘).encode(‘gbk‘)
7 print(s_to_gbk)  

3、Python2.x  gbk转换成utf-8格式

1 #-*- encoding:utf-8 -*-  #属于文件编码
2 s = ‘你好！！！‘          #默认编码也是utf-8
3 s_to_gbk = s.decode(‘utf-8‘).encode(‘gbk‘)
4 gbk_to_utf-8 = s_to_gbk.decode(‘gbk’).encode(‘utf-8’)
5 print(gbk_to_utf-8)

4、Python3.x  unicode转换成gbk，gbk再转换成utf-8，utf-8转换成unicode

 1 s = ‘你好‘     #python3 默认是unicode
 2 
 3 s_gbk = s.encode("gbk") #将unicode转换成gbk
 4 
 5 print(s_gbk)   
 6 print(s.encode())#默认解码成utf-8
 7 
 8 gbk_to_utf8 = s_gbk.decode(‘gbk‘).encode(‘utf-8‘)
 9 print(gbk_to_utf8)
10 
11 utf8_to_unicode=gbk_to_utf8.decode(‘utf-8‘)
12 print(utf8_to_unicode)
13 
14 输出结果：
15 utf-8
16 b‘\xc4\xe3\xba\xc3‘            #encode会将结果变成二进制编码
17 b‘\xe4\xbd\xa0\xe5\xa5\xbd‘
18 b‘\xe4\xbd\xa0\xe5\xa5\xbd‘

你好                          #decode会将结果变成字符