win10+python3.5,使用requests抓取信息遇到chunked乱码的诡异问题。python2.7则不乱码

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了win10+python3.5,使用requests抓取信息遇到chunked乱码的诡异问题。python2.7则不乱码相关的知识,希望对你有一定的参考价值。

ython3.5,requests遇到链接  http://app.cnmo.com/android/233888/history.html,抓取出现乱码,发现是chunked编码的,指定编码也不行,自动检测到编码为None。

QQ群里问群友,群友用python2.x的,同样的代码,不乱码。我也切换python2.x验证,确实不出现乱码。

 1 #coding:utf-8
 2 import requests
 3 headers = {
 4     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
 5 }
 6 
 7 # 这个链接是chunked编码的,源码是GB2312编码,python3.x乱码,python2.x正常
 8 url = http://app.cnmo.com/android/233888/history.html
 9 resp = requests.get(url=url,headers=headers)
0 print(resp.text)

 

python3.5.2技术分享

 

python2.7.13

技术分享

这个问题百思不得其解,百度、谷歌、360、搜狗、必应,能搜的都搜一遍,还是没搞定。

 

 

晚上再看了一遍网页请求头,干脆全部添加进去,结果不乱码了。后面只保留"Accept-Encoding"、"User-Agent"字段,不乱码,"Accept-Encoding"的值可以为空或任意编码,好像都不乱码。至于为什么我不清楚,可能需要开发者解答了

 1 #coding:utf-8
 2 import requests
 3 headers = {
 4     "Accept-Encoding": "", # 添加这个字段后,python3.x下不乱码了
 5     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
 6 }
 7 
 8 # 这个链接是chunked编码的,源码是GB2312编码,headers添加了Accept-Encoding字段,结果不会乱码了
 9 url = http://app.cnmo.com/android/233888/history.html
10 resp = requests.get(url=url,headers=headers)
11 print(resp.text)

 

python3.5.2已经不乱码了 

技术分享

以上是关于win10+python3.5,使用requests抓取信息遇到chunked乱码的诡异问题。python2.7则不乱码的主要内容,如果未能解决你的问题,请参考以下文章

win10 64下anaconda4.2.0(python3.5)

win10 python3.5 tensorflow(gpu)安装

Win10 安装 Anaconda3 用 Anaconda3 安装TensorFlow 1.2 (只支持python3.5)

win 10 下tensorflow-gpu配置

Python3.5、Win32gui、Tkinter。我无法从屏幕获取 Pixel

爬取千图网上的高清图片