全站数据爬虫CrawlSpider类

Posted 2021-05-16 吉阿吉

一、目标网址

      http://wz.sun0769.com/political/index/politicsNewest

二、scrapy创建项目

　　scrapy startproject SunPro

       cd SunPro

       scrapy genspider -t  crawl sun www.xxx.com

三、相关参数解析

1. LinkExtractor：顾名思义，链接提取器。

LinkExtractor(
allow=r\'Items/\'，# 满足括号中“正则表达式”的值会被提取，如果为空，则全部匹配。
deny=xxx, # 满足正则表达式的则不会被提取。
restrict_xpaths=xxx, # 满足xpath表达式的值会被提取
restrict_css=xxx, # 满足css表达式的值会被提取
deny_domains=xxx, # 不会被提取的链接的domains。 　
)

• 作用：提取response中符合规则的链接。

2. Rule : 规则解析器。根据链接提取器中提取到的链接，根据指定规则提取解析器链接网页中的内容。

Rule(LinkExtractor(allow=r\'Items/\'), callback=\'parse_item\', follow=True)

• 参数介绍：

  参数1：指定链接提取器
  参数2：指定规则解析器解析数据的规则（回调函数）
  参数3：是否将链接提取器继续作用到链接提取器提取出的链接网页中。当callback为None,参数3的默认值为true。

3. rules=( ):指定不同规则解析器。一个Rule对象表示一种提取规则                                                                                                                                                                                                                    　　                                                                                                                                                                                                                                                                                                                            

   四、 分析该页面不同列表页url: link=LinkExtractor(allow=r\'id=\\d+&page=\\d+\')