python字符编码

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python字符编码相关的知识,希望对你有一定的参考价值。

字符编码的转换

编码问题一直是个难以理解的问题,莫名其妙转换来转换去的,程序的结果就能正确输出,最后还是留出一点时间开始理解这个棘手的问题。

python有两种字符串类型,str、unicode,这两者都是basestring的子类

技术分享

str是字节串,而unicode则是真正意义上的字符串

str可以通过decode()函数转换成unicode;

unicode可以通过encode()函数转换成str。

unicode是支持所有文字的统一编码,但一般只用作文字的内部表示,文件、网页(也是文件)、屏幕输入输出等处均需使用具体的外在编码,如GBK、UTF-8等 

unicode是一种二进制编码,所有的utf-8和gbk编码都得通过unicode编码进行转译,utf-8和gbk编码之间不能直接转换,要在unicode之间过个场才能转换。

技术分享

#假如我知道一串编码是用utf-8编写的,怎么转成gbk呢
u = s.decode("utf-8") # 将utf-8的str转换为unicode
g = u.encode(‘GBK‘) # 将unicode转换为str,编码为GBK
#或
s.decode(‘utf-8‘).encode(‘gbk‘)

 根据图形进行转换即可

如何查看字符的编码格式?

下载第三方模块chardet

import chardet  
s = ‘汉字‘  
print chardet.detect(s) 
>>> {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘} #chardet.detect()返回字典,其中confidence是检测精确度,encoding是编码形式

 

以上是关于python字符编码的主要内容,如果未能解决你的问题,请参考以下文章

如何测试文本片段是不是是 Quoted-printable 编码的

Python 必知的 20 个骚操作!

python+spark程序代码片段

python编码与代码注释

Python代码阅读(第25篇):将多行字符串拆分成列表

Python string中删除(过滤)掉emoji表情字符