以下内容适用与Python 2.7版本。
1.关于 ASCII Unicode utf-8:
ASCII:127个数字 A -- 65 z -- 122 一个字节表示一个字符(255)
Unicode:通常两个字节(65535)表示一个字符,生僻字符可能四个字节表示一个字符。ASCII在Unicode二进制表示在前面补0。(计算机使用的编码为Unicode)
如果一个文档中,全是英文字符,若使用Unicode就会造成内存的浪费,所以产生了utf-8(可变长编码)。
ASCII在utf-8中占用内存为一个字节,而中文则占用三个字节。
2.计算机中使用Unicode编码,当涉及到硬盘存储时,会将Unicode转换为utf-8存储。例如:记事本的存储。
同样,在网页上,会将Unicode的数据转换为utf-8显示在浏览器上。
3.Python中 ASCII 与 数字的转换
>>> ord(‘A‘) 65 >>> chr(65) ‘A‘
4.Python添加了对Unicode的支持,以Unicode表示的字符串用u‘...‘
表示
>>> print u‘中文‘ 中文 >>> u‘中‘ u‘\u4e2d‘
5.把u‘xxx‘
转换为UTF-8编码的‘xxx‘
用encode(‘utf-8‘)
方法:(unicode 转换成 utf-8)
>>> u‘ABC‘.encode(‘utf-8‘) ‘ABC‘ >>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘
6.反过来,把UTF-8编码表示的字符串‘xxx‘
转换为Unicode字符串u‘xxx‘
用decode(‘utf-8‘)
方法:(utf-8 转换成 unicode )
>>> ‘abc‘.decode(‘utf-8‘) u‘abc‘ >>> ‘\xe4\xb8\xad\xe6\x96\x87‘.decode(‘utf-8‘) u‘\u4e2d\u6587‘ >>> print ‘\xe4\xb8\xad\xe6\x96\x87‘.decode(‘utf-8‘) 中文
7.Python文件头指定读取的编码格式(文件含中文的情况下,且中文字符串必须是Unicode字符串)
#!/usr/bin/env python # -*- coding: utf-8 -*-