Python编码问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python编码问题相关的知识,希望对你有一定的参考价值。

以下内容适用与Python 2.7版本。

1.关于  ASCII    Unicode    utf-8:

ASCII:127个数字 A -- 65   z -- 122  一个字节表示一个字符(255)

Unicode:通常两个字节(65535)表示一个字符,生僻字符可能四个字节表示一个字符。ASCII在Unicode二进制表示在前面补0。(计算机使用的编码为Unicode)

如果一个文档中,全是英文字符,若使用Unicode就会造成内存的浪费,所以产生了utf-8(可变长编码)。

ASCII在utf-8中占用内存为一个字节,而中文则占用三个字节。

2.计算机中使用Unicode编码,当涉及到硬盘存储时,会将Unicode转换为utf-8存储。例如:记事本的存储。

 同样,在网页上,会将Unicode的数据转换为utf-8显示在浏览器上。

3.Python中 ASCII 与 数字的转换

>>> ord(A)
65
>>> chr(65)
A

4.Python添加了对Unicode的支持,以Unicode表示的字符串用u‘...‘表示

>>> print u中文
中文
>>> u
u\u4e2d

5.把u‘xxx‘转换为UTF-8编码的‘xxx‘encode(‘utf-8‘)方法:(unicode  转换成 utf-8)

>>> uABC.encode(utf-8)
ABC
>>> u中文.encode(utf-8)
\xe4\xb8\xad\xe6\x96\x87

6.反过来,把UTF-8编码表示的字符串‘xxx‘转换为Unicode字符串u‘xxx‘decode(‘utf-8‘)方法:(utf-8  转换成 unicode )

>>> abc.decode(utf-8)
uabc
>>> \xe4\xb8\xad\xe6\x96\x87.decode(utf-8)
u\u4e2d\u6587
>>> print \xe4\xb8\xad\xe6\x96\x87.decode(utf-8)
中文

7.Python文件头指定读取的编码格式(文件含中文的情况下,且中文字符串必须是Unicode字符串)

#!/usr/bin/env python
# -*- coding: utf-8 -*-

 

以上是关于Python编码问题的主要内容,如果未能解决你的问题,请参考以下文章

从 XML 声明片段获取 XML 编码:部分内容解析不支持 XmlDeclaration

使用非utf-8编码在Python中解析XML

Python 向 Postman 请求代码片段

Python之如何优雅的重试

使用 Python 代码片段编写 LaTeX 文档

以下代码片段 C++ 的说明