网络爬虫框架Scrapy详解之Request

Posted Python中文社区

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了网络爬虫框架Scrapy详解之Request相关的知识，希望对你有一定的参考价值。

♚

当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放 网络爬虫框架Scrapy详解之Request

介绍

Request类是一个http请求的类，对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求，在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它，用于post请求。

在Spider中通常用法：

 
   
   
 
    
  
    
    
  
  1. yield scrapy.Request(url = 'zarten.com')
    2.

类属性和方法有：

 
   
   
 
    
  
    
    
  
  1. url
    2. 
  
    
    
  
    3. 
  
    
    
  
  3. method
    4. 
  
    
    
  
    5. 
  
    
    
  
  5. headers
    6. 
  
    
    
  
    7. 
  
    
    
  
  7. body
    8. 
  
    
    
  
    9. 
  
    
    
  
  9. meta
    10. 
  
    
    
  
    11. 
  
    
    
  
  11. copy()
    12. 
  
    
    
  
    13. 
  
    
    
  
  13. replace([url, method, headers, body, cookies, meta, encoding, dont_filter, callback, errback])
    14.

Request

 
   
   
 
    
  
    
    
  
  1. class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback, flags])
    2.

参数说明:

  • url 请求的url

  • callback 回调函数，用于接收请求后的返回信息，若没指定，则默认为parse()函数

  • method http请求的方式，默认为GET请求，一般不需要指定。若需要POST请求，用FormRequest即可

  • headers 请求头信息，一般在settings中设置即可，也可在middlewares中设置

  • body str类型，为请求体，一般不需要设置（get和post其实都可以通过body来传递参数，不过一般不用）

  • cookies dict或list类型，请求的cookie dict方式(name和value的键值对)：

 
   
   
 
    
  
    
    
  
  1. cookies = {'name1' : 'value1' , 'name2' : 'value2'}
    2.

list方式：

 
   
   
 
    
  
    
    
  
  1. cookies = [
    2. 
  
    
    
  
  2. {'name': 'Zarten', 'value': 'my name is Zarten', 'domain': 'example.com', 'path': '/currency'}
    3. 
  
    
    
  
  3. ]
    4.

  • encoding 请求的编码方式，默认为'utf-8'

  • priority int类型，指定请求的优先级，数字越大优先级越高，可以为负数，默认为0

  • dont_filter 默认为False，若设置为True，这次请求将不会过滤（不会加入到去重队列中），可以多次执行相同的请求

  • errback 抛出错误的回调函数，错误包括404，超时，DNS错误等，第一个参数为Twisted Failure实例

 
   
   
 
    
  
    
    
  
  1. from scrapy.spidermiddlewares.httperror import HttpError
    2. 
  
    
    
  
  2. from twisted.internet.error import DNSLookupError
    3. 
  
    
    
  
  3. from twisted.internet.error import TimeoutError, TCPTimedOutError
    4. 
  
    
    
  
    5. 
  
    
    
  
  5. class ToScrapeCSSSpider(scrapy.Spider):
    6. 
  
    
    
  
  6.     name = "toscrape-css"
    7. 
  
    
    
  
  7.     # start_urls = [
    8. 
  
    
    
  
  8.     #     'http://quotes.toscrape.com/',
    9. 
  
    
    
  
  9.     # ]
    10. 
  
    
    
  
    11. 
  
    
    
  
  11.     start_urls = [
    12. 
  
    
    
  
  12.         "http://www.httpbin.org/",  # HTTP 200 expected
    13. 
  
    
    
  
  13.         "http://www.httpbin.org/status/404",  # Not found error
    14. 
  
    
    
  
  14.         "http://www.httpbin.org/status/500",  # server issue
    15. 
  
    
    
  
  15.         "http://www.httpbin.org:12345/",  # non-responding host, timeout expected
    16. 
  
    
    
  
  16.         "http://www.httphttpbinbin.org/",  # DNS error expected
    17. 
  
    
    
  
  17.     ]
    18. 
  
    
    
  
    19. 
  
    
    
  
  19.     def start_requests(self):
    20. 
  
    
    
  
  20.         for u in self.start_urls:
    21. 
  
    
    
  
  21.             yield scrapy.Request(u, callback=self.parse_httpbin,
    22. 
  
    
    
  
  22.                                  errback=self.errback_httpbin,
    23. 
  
    
    
  
  23.                                  dont_filter=True)
    24. 
  
    
    
  
    25. 
  
    
    
  
  25.     def parse_httpbin(self, response):
    26. 
  
    
    
  
  26.         self.logger.info('Got successful response from {}'.format(response.url))
    27. 
  
    
    
  
  27.         # do something useful here...
    28. 
  
    
    
  
    29. 
  
    
    
  
  29.     def errback_httpbin(self, failure):
    30. 
  
    
    
  
  30.         # log all failures
    31. 
  
    
    
  
  31.         self.logger.info(repr(failure))
    32. 
  
    
    
  
    33. 
  
    
    
  
  33.         # in case you want to do something special for some errors,
    34. 
  
    
    
  
  34.         # you may need the failure's type:
    35. 
  
    
    
  
    36. 
  
    
    
  
  36.         if failure.check(HttpError):
    37. 
  
    
    
  
  37.             # these exceptions come from HttpError spider middleware
    38. 
  
    
    
  
  38.             # you can get the non-200 response
    39. 
  
    
    
  
  39.             response = failure.value.response
    40. 
  
    
    
  
  40.             self.logger.info('HttpError错误 on %s', response.url)
    41. 
  
    
    
  
    42. 
  
    
    
  
  42.         elif failure.check(DNSLookupError):
    43. 
  
    
    
  
  43.             # this is the original request
    44. 
  
    
    
  
  44.             request = failure.request
    45. 
  
    
    
  
  45.             self.logger.info('DNSLookupError错误 on %s', request.url)
    46. 
  
    
    
  
    47. 
  
    
    
  
  47.         elif failure.check(TimeoutError, TCPTimedOutError):
    48. 
  
    
    
  
  48.             request = failure.request
    49. 
  
    
    
  
  49.             self.logger.info('TimeoutError错误 on %s', request.url)
    50.

  • flags list类型，一般不会用到，发送请求的标志，一般用于日志记录

  • meta 可用户自定义从Request到Response传递参数，这个参数一般也可在middlewares中处理

 
   
   
 
    
  
    
    
  
  1. yield scrapy.Request(url = 'zarten.com', meta = {'name' : 'Zarten'})
    2.

在Response中：

 
   
   
 
    
  
    
    
  
  1. my_name = response.meta['name']
    2.

不过也有scrapy内置的特殊key，也非常有用，它们如下：

  • proxy 设置代理，一般在middlewares中设置

可以设置http或https代理

 
   
   
 
    
  
    
    
  
  1. request.meta['proxy'] = 'https://' + 'ip:port'
    2.

  • downloadtimeout 设置请求超时等待时间（秒），通常在settings中设置DOWNLOADTIMEOUT，默认是180秒（3分钟）

  • maxretrytimes 最大重试次数（除去第一次下载），默认为2次，通常在settings中 RETRY_TIMES设置

  • dont_redirect 设为True后，Request将不会重定向

  • dont_retry 设为True后，对于http链接错误或超时的请求将不再重试请求

  • handlehttpstatuslist http返回码200-300之间都是成功的返回，超出这个范围的都是失败返回，scrapy默认是过滤了这些返回，不会接收这些错误的返回进行处理。不过可以自定义处理哪些错误返回：

 
   
   
 
    
  
    
    
  
  1. yield scrapy.Request(url= 'https://httpbin.org/get/zarten', meta= {'handle_httpstatus_list' : [404]})
    2.

在parse函数中可以看到处理404错误：

 
   
   
 
    
  
    
    
  
  1.     def parse(self, response):
    2. 
  
    
    
  
  2.         print('返回信息为：',response.text)
    3.

  • handlehttpstatusall 设为True后，Response将接收处理任意状态码的返回信息

  • dontmergecookies scrapy会自动保存返回的cookies，用于它的下次请求，当我们指定了自定义cookies时，如果我们不需要合并返回的cookies而使用自己指定的cookies，可以设为True

  • cookiejar 可以在单个spider中追踪多个cookie，它不是粘性的，需要在每次请求时都带上

 
   
   
 
    
  
    
    
  
  1.     def start_requests(self):
    2. 
  
    
    
  
  2.         urls = ['http://quotes.toscrape.com/page/1',
    3. 
  
    
    
  
  3.                 'http://quotes.toscrape.com/page/3',
    4. 
  
    
    
  
  4.                 'http://quotes.toscrape.com/page/5',
    5. 
  
    
    
  
  5.                 ]
    6. 
  
    
    
  
  6.         for i ,url in enumerate(urls):
    7. 
  
    
    
  
  7.             yield scrapy.Request(url= url, meta= {'cookiejar' : i})
    8. 
  
    
    
  
    9. 
  
    
    
  
    10. 
  
    
    
  
  10.     def parse(self, response):
    11. 
  
    
    
  
  11.         next_page_url = response.css("li.next > a::attr(href)").extract_first()
    12. 
  
    
    
  
  12.         if next_page_url is not None:
    13. 
  
    
    
  
  13.             yield scrapy.Request(response.urljoin(next_page_url), meta= {'cookiejar' : response.meta['cookiejar']}, callback= self.parse_next)
    14. 
  
    
    
  
    15. 
  
    
    
  
  15.     def parse_next(self, response):
    16. 
  
    
    
  
  16.         print('cookiejar:', response.meta['cookiejar'])
    17.

  • dont_cache 设为True后，不会缓存

  • redirect_urls 暂时还不清楚具体的作用，知道的小伙伴们欢迎在评论留言

  • bindaddress 绑定输出IP

  • dontobeyrobotstxt 设为True，不遵守robots协议，通常在settings中设置

  • downloadmaxsize 设置下载器最大下载的大小（字节），通常在settings中设置DOWNLOADMAXSIZE，默认为1073741824 (1024MB=1G)，若不设置最大的下载限制，设为0

  • download_latency 只读属性，获取请求的响应时间（秒）

 
   
   
 
    
  
    
    
  
  1.     def start_requests(self):
    2. 
  
    
    
  
    3. 
  
    
    
  
  3.         headers = {
    4. 
  
    
    
  
  4.             'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    5. 
  
    
    
  
  5.         }
    6. 
  
    
    
  
  6.         yield scrapy.Request(url= 'https://www.amazon.com', headers= headers)
    7. 
  
    
    
  
    8. 
  
    
    
  
  8.     def parse(self, response):
    9. 
  
    
    
  
    10. 
  
    
    
  
  10.         print('响应时间为：', response.meta['download_latency'])
    11.

  • downloadfailon_dataloss 很少用到，详情看这里

  • referrer_policy 设置Referrer Policy

FormRequest

FormRequest 类为Request的子类，用于POST请求

这个类新增了一个参数 formdata，其他参数与Request一样，详细可参考上面的讲述

一般用法为:

 
   
   
 
    
  
    
    
  
  1. yield scrapy.FormRequest(url="http://www.example.com/post/action",
    2. 
  
    
    
  
  2.                     formdata={'name': 'Zarten', 'age': '27'},
    3. 
  
    
    
  
  3.                     callback=self.after_post)
    4.


网络爬虫框架Scrapy详解之Request

Python中文社区作为一个去中心化的全球技术社区，以成为全球20万Python中文开发者的精神部落为愿景，目前覆盖各大主流媒体和协作平台，与阿里、腾讯、百度、微软、亚马逊、开源中国、CSDN等业界知名公司和技术社区建立了广泛的联系，拥有来自十多个国家和地区数万名登记会员，会员来自以公安部、工信部、清华大学、北京大学、北京邮电大学、中国人民银行、中科院、中金、华为、BAT、谷歌、微软等为代表的政府机关、科研单位、金融机构以及海内外知名公司，全平台近20万开发者关注。

点击阅读原文，从零开始学习Python网络爬虫

以上是关于网络爬虫框架Scrapy详解之Request的主要内容，如果未能解决你的问题，请参考以下文章

爬虫框架Scrapy之详解

Python网络爬虫之Scrapy框架（CrawlSpider）

18python网路爬虫之Scrapy框架中的CrawlSpider详解

爬虫学习 16.Python网络爬虫之Scrapy框架（CrawlSpider）

网络爬虫之scrapy框架设置代理

Python爬虫之Scrapy框架系列（16）——深入剖析request和response类