小爬虫学习—— Scrapy框架

Posted 2021-08-11 别呀

CrawlSpider

创建CrawlSpider 的爬虫文件
命令：

scrapy genspider -t crawl 爬虫文件名 域名

Rule
功能：Rule用来定义CrawlSpider的爬取规则
参数：
link_extractor： Link Extractor对象，它定义如何从每个已爬网页面中提取链接。
callback ：回调函数 处理link_extractor形成的response
cb_kwargs ： cb:callback 回调函数的参数，是一个包含要传递给回调函数的关键字参数的dict
follow ：它指定是否应该从使用此规则提取的每个响应中跟踪链接。
     两个值：True /False；follow=True link_extractor形成的response 会交给rule;False 则不会;
process_links ： 用于过滤链接的回调函数 ， 处理link_extractor提取到的链接
process_request ： 用于过滤请求的回调函数
errback:处理异常的函数


LinkExractor

LinkExractor也是scrapy框架定义的一个类，它唯一的目的是从web页面中提取最终将被跟踪的额连接。

我们也可定义我们自己的链接提取器，只需要提供一个名为extract_links的方法，它接收Response对象并返回scrapy.link.Link对象列表。

参数：
allow(允许)：正则表达式或其列表匹配url，若为空则匹配所有url
deny(不允许)：正则表达式或其列表排除url，若为空则不排除url
allow_domains(允许的域名)：str或其列表
deny_domains(不允许的域名)：str或其列表
restrict_xpaths(通过xpath 限制匹配区域)：xpath表达式 或列表
restrict_css(通过css 限制匹配区域)：css表达式
restrict_text(通过text 限制匹配区域)：正则表达式
tags=(‘a’, ‘area’)：允许的标签
attrs=(‘href’,)：允许的属性
canonicalize：规范化每个提取的url
unique(唯一)：将匹配到的重复链接过滤
process_value：接收 从标签提取的每个值 函数
deny_extensions：不允许拓展，提取链接的时候,忽略一些扩展名.jpg .xxx

---

案例：爬取纵横小说

需求分析

需爬取内容：小说书名、作者、是否完结、字数、简介、各个章节及其内容

页面结构

一级页面： 各个小说的url

二级页面： 小说书名、作者、是否完结、字数、简介、章节目录url

三级页面： 各个章节名称

四级页面： 小说各个章节内容

---

需求字段

小说信息

章节信息

代码实现

spider文件

根据目标数据——要存储的数据，在rules中定义Rule规则，按需配置callback函数，解析response获得想要的数据。

• parse_book函数获取小说信息
• parse_catalog函数获取章节信息
• parse_chapter函数获取章节内容

#(爬虫文件名：zh）
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from ..items import BookItem,ChapterItem,CatalogItem

class ZhSpider(CrawlSpider):
    name = 'zh'
    allowed_domains = ['book.zongheng.com']
    start_urls = ['http://book.zongheng.com/store/c0/c0/b0/u0/p1/v9/s1/t1/u0/i1/ALL.html'] #起始的url  一级界面的url
	#定义爬取规则  1.提取url(LinkExtractor对象)   2.形成请求    3.响应的处理规则
    rules = (
        Rule(LinkExtractor(allow=r'http://book.zongheng.com/book/\\d+.html',restrict_xpaths='//div[@class="bookname"]'), callback='parse_book', follow=True,process_links='get_booklink'),  #这里加restrict_xpaths限制匹配区域
        Rule(LinkExtractor(allow=r'http://book.zongheng.com/showchapter/\\d+.html'), callback='parse_catalog', follow=True),
        Rule(LinkExtractor(allow=r'http://book.zongheng.com/chapter/\\d+/\\d+.html',restrict_xpaths='//ul[@class="chapter-list clearfix"]'), callback='parse_chapter',follow=False,process_links='get_chapterlink'), #这里加restrict_xpaths限制匹配区域

    )

    def get_booklink(self,links) :#处理 LinkExtractor  提取到的url  每本书的url
        for index,link in enumerate(links):
            if index==0:
                yield link
            else:
                return

    def get_chapterlink(self,links):  #处理 LinkExtractor  提取到的url  章节的url
        for index,link in enumerate(links):
            if index<=20:
                yield link
            else:
                return

    def parse_book(self, response):
        #类别
        category = response.xpath('//div[@class="book-info"]/div[@class="book-label"]/a[2]/text()').extract()[0].strip()
        #书名
        book_name = response.xpath('//div[@class="book-info"]/div[@class="book-name"]/text()').extract()[0].strip()
        #作者
        author = response.xpath('//div[@class="au-name"]/a/text()').extract()[0].strip()
        #状态
        status =  response.xpath('//div[@class="book-info"]/div[@class="book-label"]/a[1]/text()').extract()[0].strip()
        #字数
        book_nums = response.xpath('//div[@class="book-info"]/div[@class="nums"]/span/i/text()').extract()[0].strip()
        #描述
        description = ' '.join(response.xpath('//div[@class="book-info"]/div[@class="book-dec Jbook-dec hide"]/p/text()').extract())
        #书的url
        book_url = response.url
        #目录的URL
        catalog_url =response.xpath('//div[@class="book-info"]//div[@class="fr link-group"]/a/@href').extract()[0].strip()
        item = BookItem()
        item['category']=category
        item['book_name']=book_name
        item['author']=author
        item['status']=status
        item['book_nums']=book_nums
        item['description']=description
        item['book_url']=book_url
        item['catalog_url']=catalog_url
        yield item

    def parse_catalog(self,response):
        a_text = response.xpath('//ul[@class="chapter-list clearfix"]/li/a')
        chapter_list = []
        catalog_url = response.url
        for a in a_text:
            title = a.xpath('./text()').extract()[0]
            chapter_url = a.xpath('./@href').extract()[0]
            chapter_list.append((title,chapter_url,catalog_url)) #章节名 章节url  目录url

        item = CatalogItem()
        item['chapter_list']=chapter_list
        yield item

    def parse_chapter(self,response):
        content = ''.join(response.xpath('//div[@class="content"]/p/text()').extract())
        chapter_url=response.url
        item = ChapterItem()
        item['content']=content   #小说章节的内容
        item['chapter_url']=chapter_url  #章节的url
        yield item

items文件

items文件里的字段，是根据目标数据的需求确定的

import scrapy
class BookItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    category = scrapy.Field()
    book_name = scrapy.Field()
    author = scrapy.Field()
    status =scrapy.Field()
    book_nums =scrapy.Field()
    description =scrapy.Field()
    book_url =scrapy.Field()
    catalog_url = scrapy.Field()

class CatalogItem(scrapy.Item):
    chapter_list = scrapy.Field()

class ChapterItem(scrapy.Item):
    content =scrapy.Field()
    chapter_url = scrapy.Field()

pipelines文件

此处是将数据写入数据库

1. 先写入小说信息
2. 写入章节信息，除了章节内容之外的部分
3. 根据章节url，写入章节内容

注意：记得提前创建好数据库和各个表，同时写代码时表的字段千万不要写错！！！

import pymysql
# zhnovel是我的项目文件夹名
from zhnovel.items import BookItem,ChapterItem,CatalogItem
from scrapy.exceptions import DropItem

class ZhnovelPipeline:
    #打开数据库
    def open_spider(self,spider):
        data_config = spider.settings['DATABASE_CONFIG']
        #建立连接
        self.conn = pymysql.connect(**data_config)
        #定义游标
        self.cur = self.conn.cursor()
        spider.conn = self.conn
        spider.cur = self.cur

    #数据存储
    def process_item(self, item, spider):
        if isinstance(item,BookItem):
            sql = "select id from novel where book_name=%s and author=%s"
            self.cur.execute(sql,(item['book_name'],item['author']))
            if not self.cur.fetchone():
                sql = "insert into novel(category,book_name,author,status,book_nums,description,book_url,catalog_url) values(%s,%s,%s,%s,%s,%s,%s,%s)"
                self.cur.execute(sql,(item['category'],item['book_name'],item['author'],item['status'],item['book_nums'], item['description'],item['book_url'],item['catalog_url']))
                self.conn.commit()
            return item
        elif isinstance(item,CatalogItem):
            sql = 'delete from chapter'
            self.cur.execute(sql)
            sql = 'insert into chapter(title,ord_num,chapter_url,catalog_url) values(%s,%s,%s,%s)'
            data_list = []
            for index, chapter in enumerate(item['chapter_list']):
                ord_num = index+1
                title, chapter_url, catalog_url = chapter
                data_list.append((title, ord_num, chapter_url, catalog_url))
            self.cur.executemany(sql,data_list)
            self.conn.commit()
            return item
        elif isinstance(item,ChapterItem):
            sql = "update chapter set content=%s where chapter_url=%s"
            self.cur.execute(sql,(item['content'],item['chapter_url']))
            self.conn.commit()
            return item
        else:
            return DropItem

    #关闭数据库
    def close_spider(self,spider):
        self.cur.close()
        self.conn.close()

settings文件

• 设置robots协议，添加全局请求头，开启管道
• 开启下载延迟(可以不开，最好开启)
• 配置数据库

ROBOTSTXT_OBEY = False  #robots协议

DOWNLOAD_DELAY = 1  #下载延迟1s

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.54'
}

DATABASE_CONFIG={  #配置数据库
    'host':'localhost',    #ip为127.0.0.1  或写 localhost
    'port':3306,   #端口3306
    'user':'root',     #这里是你登录mysql的用户名
    'password':'123456',  #这是登录mysql的密码
    'db':'zhnovel',    #你的数据库
    'charset':'utf8',   #编码utf8
}

结果：