在python获取网页的代码中添加头信息模拟浏览器

Posted Lan资源网

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在python获取网页的代码中添加头信息模拟浏览器相关的知识,希望对你有一定的参考价值。

方法1:使用build_opener()来添加

import urllib2
url = "https://www.baidu.com"
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
opener = urllib2.build_opener()
opener.addheaders = [headers]
file = opener.open(url)
html = file.read()
print html

方法2:利用add_header()来添加

import urllib2
url = "https://blog.51cto.com/lsfandlinux/2046467"
req = urllib2.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
file = urllib2.urlopen(req)
html = file.read()
print html

  

以上是关于在python获取网页的代码中添加头信息模拟浏览器的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫能干啥

基于HttpClient的新版正方教务系统模拟登录及信息获取API

快速学习网页爬虫之python

Python模拟浏览器实现网页访问

Python爬虫爬虫的基本原理

网络爬虫在爬取网页时,响应头没有编码信息...如何解决保存在本地的乱码问题?