python3 requests爬取gbk时候遇到编码的坑

Posted xxxuxin

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3 requests爬取gbk时候遇到编码的坑相关的知识,希望对你有一定的参考价值。

python3默认是utf8的,爬取gbk网页的时候会出现乱码 

解决办法 

test.encoding="gbk"
test.text

text不转换会出现错误,python3字符集不支持转码

第二种方法

test.content.decode("gbk")

decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312‘),表示将gb2312编码的字符串str1转换成unicode编码。 解码

encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312‘),表示将unicode编码的字符串str2转换成gb2312编码。 编码

以上是关于python3 requests爬取gbk时候遇到编码的坑的主要内容,如果未能解决你的问题,请参考以下文章

python3爬虫-通过requests爬取图虫网

[实战演练]python3使用requests模块爬取页面内容

[实战演练]python3使用requests模块爬取页面内容

用Python3Request爬取英雄联盟皮肤单线程爬取

python3爬虫-使用requests爬取起点小说

python3.7---爬取网页图片