CrawlSpider：类，Spider的一个子类

Posted 2020-12-07 南啾

全站数据爬取的方法

• 基于spider：手动请求
• 基于CrawlSpider

---

CrawlSpider的使用：

创建一个工程

cd xxx

创建爬虫文件（Crawlspider）：

• 指令 scrapy genspider -t crawl xxx www.xxx.com

链接提取器 LinkExtractor

• 作用：根据指定规则（allow="正则"）进行指定链接的提取

规则解析器Rule

• 作用：将链接提取器提取到的链接进行指定规则（callback）的解析操作

参数follow = True

• 作用：可以将链接提取器 继续作用到 链接提取器提取到的链接 所对应的页面中

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class SunSpider(CrawlSpider):
    name = ‘sun‘
    # allowed_domains = [‘www.xxx.com‘]
    start_urls = [‘http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1‘]

    # 链接提取器：根据指定的规则（allow="正则"）进行指定链接的提取
    link = LinkExtractor(allow=r‘id=1&page=\d+‘)
    rules = (
        # Rule规则解析器:
        Rule(link, callback=‘parse_item‘, follow=False),
    )

    def parse_item(self, response):
        print(response)