专题:ASCII, Unicode & UTF-8 (in Python)
1.基本概念:
(1)字符集:已编号字符的有序集合,包括字符编号和字符,对计算机没有直接意义
(2)编码方案:将字符集中的字符编号与二进制字符编码进行对应的映射
(3)编码单位(码元):计算机处理字符时一次读取的二进制位数
(4)编码:按照编码方案,由字符转换而来的二进制数据。在已知编码单位和映射关系时,计算机可以对字符进行编码,也可以对编码进行解码
2.ASCII、Unicode & UTF-8的实质:
(1)ASCII:字符集以及编码方案,用0~127对128个字符做了编号,用8位作为编码单位,简单地把十进制编号转换而成的二进制数据作为编码
(2)广义Unicode:
①Unicode:字符集,以16位二进制数对世界上几乎全部字符做了编号
②UTF-8:编码方案,以8位(一个字节)作为编码单位,按照一定规则(每字节前几位固定)将一个字符编码为1到4个字节
3.ASCII、Unicode & UTF-8的应用背景:
(1)ASCII:只能表示英文文本
(2)Unicode:表示多语言文本,兼容ASCII
(3)UTF-8:传输、存储用Unicode表示的多语言文本,去除Unicode中的冗余部分
4.Python描述:
(1)bytes和str类型:
①bytes:编码比特流,如0101101000101101
②str:字符串,如’Python’
变量的类型可以用type()查看,或者以输出时是否带有b’’来区分
(2)encode和decode方法:
①encode将str以声明的编码方案转换为bytes,也就是编码
②decode将bytes以声明的编码方案转换为str,也就是解码
5.Python中的字符操作:
(1)在将字符串存入硬盘和从硬盘中读取字符串的过程中,自动进行编码和解码
(2)为了避免乱码问题,应坚持使用UTF-8方案