两种方法修改pyhton爬虫的报头

Posted 古琴剑弹

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了两种方法修改pyhton爬虫的报头相关的知识,希望对你有一定的参考价值。

方法一:

import urlib.request

url = ""

headers=("User-Agent","")

opener = urllib.request.build_opener()

opener.addheaders = [headers]

data=open(url).read()

 

方法二:

import urllib.request

url = ""

req=urllib.request.Request(url)

req.add_header(‘User-Agent‘,  ‘‘)

data = urllib.request.urlopen(req).read()

以上是关于两种方法修改pyhton爬虫的报头的主要内容,如果未能解决你的问题,请参考以下文章

爬虫获取主页信息并修改报头

python爬虫:两种方法模拟登录博客园

python 爬虫scrapy的两种写法

爬虫学习笔记

pdf文件怎么修改 修改PDF文件的两种方法

爬虫的两种解析方式 xpath和bs4