python3中的unicode_escape

Posted 2020-11-08 cnhkzyy

一. 响应的两种方式

在使用python3的requests模块时，发现获取响应有两种方式

• 其一，为文本响应内容, r.text

• 其二，为二进制响应内容，r.content

在《Python学习手册》中，是这样解释的

‘‘‘Python 3.X带有3种字符串对象类型——一种用于文本数据，两种用于二进制数据：

• str表示Unicode文本(8位的和更宽的)

• bytes表示二进制数据

• bytearray，是一种可变的bytes类型‘‘‘

也就是说，r.text实际上就是Unicode的响应内容，而r.content是二进制的响应内容，看看源码怎么解释

 @property
    def text(self):
        """Content of the response, in unicode.

        If Response.encoding is None, encoding will be guessed using
        ``chardet``.

        The encoding of the response content is determined based solely on HTTP
        headers, following RFC 2616 to the letter. If you can take advantage of
        non-HTTP knowledge to make a better guess at the encoding, you should
        set ``r.encoding`` appropriately before accessing this property.
        """

大体的意思是说，r.text方法返回的是用unicode编码的响应内容。响应内容的编码取决于HTTP消息头，如果你有HTTP之外的知识来猜测编码，你应该在访问这个属性之前设置合适的r.encoding，也就是说，你可以用r.encoding来改变编码，这样当你访问r.text ，Request 都将会使用r.encoding的新值

>>> r.encoding
‘utf-8‘
>>> r.encoding = ‘ISO-8859-1‘

我们看看r.content的源码

 @property
    def content(self):
        """Content of the response, in bytes."""

r.content返回的是字节形式的响应内容

二. 问题的提出与解决

当用requests发送一个get请求时，得到的结果如下：

import requests

url = "xxx"
params = "xxx"
cookies = {"xxx": "xxx"}

res = requests.request("get", url, params=params, cookies=cookies)
print(res.text)

那么，问题来了，\\u表示的那一串unicode编码，它是什么原因造成的，请参考知乎相关回答，该如何呈现它的庐山真面目？

print(res.text.encode().decode("unicode_escape"))

这个unicode_escape是什么？将unicode的内存编码值进行存储，读取文件时在反向转换回来。这里就采用了unicode-escape的方式

 

当我们采用res.content时，也会遇到这个问题：

import requests

url = "xxx"
params = "xxx"
cookies = {"xxx": "xxx"}

res = requests.request("get", url, params=params, cookies=cookies)
print(res.content)

解决的办法就是

print(res.content.decode("unicode_escape"))

三. 总结

1. str.encode()  把一个字符串转换为其raw bytes形式

    bytes.decode()   把raw bytes转换为其字符串形式

2. 遇到类似的编码问题时，先检查响应内容text是什么类型，如果type(text) is bytes，那么

text.decode(‘unicode_escape‘)

如果type(text) is str，那么

text.encode(‘latin-1‘).decode(‘unicode_escape‘)

 

 

参考资料

https://www.zhihu.com/question/26921730

https://blog.csdn.net/bubblelone/article/details/70039419

https://blog.csdn.net/qq_23849183/article/details/51221993