爬虫中scrapy.Request的更多参数
Posted 黑马蓝汐
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫中scrapy.Request的更多参数相关的知识,希望对你有一定的参考价值。
每日分享:
人的一生是短的,但如果无趣的过这一生,就太长了。
没有体会过别人的痛苦,就不要劝别人大度。
一、scrapy.Request的参数
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=Fallse])
参数解释:
- 中括号中的参数为可选参数,可写可不写
- callback:表示当前的url响应交给哪个函数去处理(默认为parse函数)
- meta:实现数据在不同解析函数中传递,meta默认带有部分数据,比如下载延迟、请求深度等(用于解析方法之间的数据传递,常用在一条数据分散在多个不同结构的页面中的情况)
- dont_filter:默认为False,会过滤请求的url地址,即请求过的url地址不会继续被请求,对需要重复请求的url地址可以把它设置为True,start_urls中的地址会被反复请求,否则程序不会启动
- headers:接收一个字典,其中不包括cookies
- cookies:接收一个字典,专门放置cookies
- method:指定POST或GET请求
- body:接收json字符串,为post的数据发送payload_post请求
二、meta参数
meta的作用:meta可以实现数据在不同的解析函数中的传递
在爬虫文件的parse方法中,增加一个函数parse_detail函数(用来解析另一个页面):
def parse(self,response):
...
yield scrapy.Request(detail_url, callback=self.parse_detail,meta="item":item)
...def parse_detail(self,response):
#获取之前传入的item
item = resposne.meta["item"]
就相当于,把parse中解析的数据存到了meta字典中,对应的key为item;而在另一个函数(parse_detail)中,通过meta字典中的key:item来提取parse中的数据,从而实现不同页面数据的拼接
注意:
- meta参数是一个字典
- meta字典中有一个固定的键proxy,表示代理ip
以上是关于爬虫中scrapy.Request的更多参数的主要内容,如果未能解决你的问题,请参考以下文章