爬虫中scrapy.Request的更多参数

Posted 黑马蓝汐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫中scrapy.Request的更多参数相关的知识,希望对你有一定的参考价值。

每日分享:

人的一生是短的,但如果无趣的过这一生,就太长了。

没有体会过别人的痛苦,就不要劝别人大度。

一、scrapy.Request的参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=Fallse])

参数解释:

  1. 中括号中的参数为可选参数,可写可不写
  2. callback:表示当前的url响应交给哪个函数去处理(默认为parse函数)
  3. meta:实现数据在不同解析函数中传递,meta默认带有部分数据,比如下载延迟、请求深度等(用于解析方法之间的数据传递,常用在一条数据分散在多个不同结构的页面中的情况)
  4. dont_filter:默认为False,会过滤请求的url地址,即请求过的url地址不会继续被请求,对需要重复请求的url地址可以把它设置为True,start_urls中的地址会被反复请求,否则程序不会启动
  5. headers:接收一个字典,其中不包括cookies
  6. cookies:接收一个字典,专门放置cookies
  7. method:指定POST或GET请求
  8. body:接收json字符串,为post的数据发送payload_post请求

二、meta参数

meta的作用:meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中,增加一个函数parse_detail函数(用来解析另一个页面):

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta="item":item)
...

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

就相当于,把parse中解析的数据存到了meta字典中,对应的key为item;而在另一个函数(parse_detail)中,通过meta字典中的key:item来提取parse中的数据,从而实现不同页面数据的拼接

注意:

  1. meta参数是一个字典
  2. meta字典中有一个固定的键proxy,表示代理ip

以上是关于爬虫中scrapy.Request的更多参数的主要内容,如果未能解决你的问题,请参考以下文章

Settings 参数记录

scrapy.Request的旅行

Scrapy-Shell的用法以及request和response的区别

网易云音乐评论爬虫-js参数加密

Scrapy请求传参

一个简单的多线程Python爬虫