python3 requests爬取gbk时候遇到编码的坑
Posted xxxuxin
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3 requests爬取gbk时候遇到编码的坑相关的知识,希望对你有一定的参考价值。
python3默认是utf8的,爬取gbk网页的时候会出现乱码
解决办法
test.encoding="gbk" test.text
text不转换会出现错误,python3字符集不支持转码
第二种方法
test.content.decode("gbk")
decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312‘),表示将gb2312编码的字符串str1转换成unicode编码。 解码
encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312‘),表示将unicode编码的字符串str2转换成gb2312编码。 编码
以上是关于python3 requests爬取gbk时候遇到编码的坑的主要内容,如果未能解决你的问题,请参考以下文章
[实战演练]python3使用requests模块爬取页面内容