python爬虫之Scrapy框架

Posted DoubleFishes

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫之Scrapy框架相关的知识,希望对你有一定的参考价值。

Scrapy是用python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架。使用Twisted高效异步网络框架来处理网络通信。

Scrapy架构:

 

ScrapyEngine:引擎。负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 此组件相当于爬虫的“大脑”,是 整个爬虫的调度中心。 

Schedule:调度器。接收从引擎发过来的requests,并将他们入队。初始爬取url和后续在页面里爬到的待爬取url放入调度器中,等待被爬取。调度器会自动去掉重复的url。

Downloader:下载器。负责获取页面数据,并提供给引擎,而后提供给spider。

 

Spider:爬虫。用户编些用于分析response并提取item和额外跟进的url。将额外跟进的url提交给ScrapyEngine,加入到Schedule中。将每个spider负责处理一个特定(或 一些)网站。 

ItemPipeline:负责处理被spider提取出来的item。当页面被爬虫解析所需的数据存入Item后,将被发送到Pipeline,并经过设置好次序

DownloaderMiddlewares:下载中间件。是在引擎和下载器之间的特定钩子(specific hook),处理它们之间的请求(request)和响应(response)。提供了一个简单的机制,通过插入自定义代码来扩展Scrapy功能。通过设置DownloaderMiddlewares来实现爬虫自动更换user-agent,IP等。

SpiderMiddlewares:Spider中间件。是在引擎和Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items或requests)。提供了同样简单机制,通过插入自定义代码来扩展Scrapy功能。

 

数据流:

1.ScrapyEngine打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个(批)要爬取的url(s);

2.ScrapyEngine向调度器请求第一个要爬取的url,并加入到Schedule作为请求以备调度;

3.ScrapyEngine向调度器请求下一个要爬取的url;

4.Schedule返回下一个要爬取的url给ScrapyEngine,ScrapyEngine通过DownloaderMiddlewares将url转发给Downloader;

5.页面下载完毕,Downloader生成一个页面的Response,通过DownloaderMiddlewares发送给ScrapyEngine;

6.ScrapyEngine从Downloader中接收到Response,通过SpiderMiddlewares发送给Spider处理;

7.Spider处理Response并返回提取到的Item以及新的Request给ScrapyEngine;

8.ScrapyEngine将Spider返回的Item交给ItemPipeline,将Spider返回的Request交给Schedule进行从第二步开始的重复操作,直到调度器中没有待处理的Request,ScrapyEngine关闭。

 

安装scrapy:

1.安装wheel支持:
$ pip install wheel

2.安装scrapy框架:

$ pip install scrapy

3.window下,为了避免windows编译安装twisted依赖,安装下面的二进制包 

$ pip install Twisted-18.4.0-cp35-cp35m-win_amd64.whl

 

scrapy项目结构:
在某路径下创建scrapy项目: $ scrapy startproject my_project

会产生以下目录和文件:

 

外部的first目录:整个项目目录
scrapy.cfg:必须有的重要的项目的配置文件

内部的first目录:整个项目的全局目录

item.py:定义Item类,从scrapy.Item继承,里面定义scrapy.Field类

pipelines.py:处理爬取的数据流向。重要的是process_item()方法

first目录下的__init__.py:作为包文件必须有的文件

spiders目录下的__init__.py:也是必须有。在这里可以写爬虫类或爬虫子模块

settings.py:

BOT_NAME  # 爬虫名

ROBOTSTXT_OBEY = True  # 遵守robots协议

USER_AGENT=\'\'  # 指定爬取时使用。一定要更改user-agent,否则访问会报403错误

CONCURRENT_REQUEST = 16  # 默认16个并行

DOWNLOAD_DELAY = 3  # 下载延时

COOKIES_ENABLED = False  # 缺省是启用。一般需要登录时才需要开启cookie

DEFAULT_REQUEST_HEADERS = {}  # 默认请求头,需要时填写

SPIDER_MIDDLEWARES  # 爬虫中间件

DOWNLOADER_MIDDLEWARES  # 下载中间件

\'first.middlewares.FirstDownloaderMiddleware\': 543  # 543优先级越小越高

\'firstscrapy.pipelines.FirstscrapyPipeline\': 300  # item交给哪一个管道处理,300优先级越小越高

  

豆瓣书评爬取:

创建爬虫代码模版

命令:scrapy genspider -t basic book douban.com  # book是爬虫名字;douban.com是要爬取的url的域名

模板如下:

# -*- coding: utf-8 -*-
import scrapy


class BookSpider(scrapy.Spider):
    name = \'book\'
    allowed_domains = [\'douban.com\']
    start_urls = [\'http://douban.com/\']

    def parse(self, response):
        pass

 此时就已经成功创建一个名为‘book’的爬虫,可以通过命令scrapy list查看。

 

response是服务器端HTTP响应,它是scrapy.http.response.html.HtmlResponse类。由此,修改代码如下 :

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http.response.html import HtmlResponse

class BookSpider(scrapy.Spider):
    name = \'book\'  # 爬虫名
    allowed_domains = [\'douban.com\']  # 域名。爬虫爬取范围
    start_urls = [\'https://book.douban.com/tag/%E7%BC%96%E7%A8%8B?start=0&type=T\']  # 起始url,从第一页开始爬取

    # 下载器获取WebServer的response,parse就是解析响应response的内容
    def parse(self, response: HtmlResponse):  # 如何解析html;返回一个可迭代对象:利用yiled
        print(type(response))  # scrapy.http.response.html.HtmlResponse
        print(type(response.text))  # str
        print(type(response.body))  # bytes
        print(response.encoding)  # utf-8
        # 将网页内容写入book.html文件内
        with open(\'/Users/dannihong/Documents/leetcode/scrapy_project/file/book.html\', \'w\', encoding=\'utf-8\') as f:
            f.write(response.text)
            f.flush()
        except Exception as e:
            print(e)

 

爬虫获得的内容response对象,可以使用解析库来解析。scrapy包装了lxml,父类TextResponse类也提供了xpath方法和css方法,可以混合使用这两套接口解析HTML。解析html页面内容的示例代码如下:

# -*- coding: utf-8 -*-
from scrapy.http.response.html import HtmlResponse

response = HtmlResponse(\'file:/Users/dannihong/Documents/leetcode/scrapy_project/file/book.html\', encoding=\'utf-8\')
with open(\'/Users/dannihong/Documents/leetcode/scrapy_project/file/book.html\', encoding=\'utf8\') as f:
    response._set_body(f.read().encode())  # _set_body方法将其放入response对象里;需要传入的参数对象是bytes,所以encode()
subjects = response.css(\'li.subject-item\')
for subject in subjects:
    # 提取书籍的网页链接
    href = subject.xpath(\'.//h2\').css(\'a::attr(href)\').extract()
    print(\'href:\', href[0])
    # 使用正则表达式,选取评分是9分以上的书籍
    rate = subject.xpath(\'.//span[@class="rating_nums"]/text()\').re(r\'^9.*\')
    # rate = subject.css(\'span.rating_nums::text\').re(r\'^9\\..*\')  # 第二种表达方式
    if rate:
        print(rate[0])

 

item封装数据:

# first/item.py

import scrapy

class Test1ProItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()  # 存放书籍标题的字段
    rate = scrapy.Field()  # 存放书籍评分的字段

 

 

# first/first/spiders/book.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http.response.html import HtmlResponse
from ..items import FirstItem  # 从上一层的items.py文件里导入

class BookSpider(scrapy.Spider):
    name = \'book\'  # 爬虫名
    allowed_domains = [\'douban.com\']  # 爬虫爬取范围
    start_urls = [\'https://book.douban.com/tag/%E7%BC%96%E7%A8%8B?start=0&type=T\']  # 起始url
    custom_settings = {\'file_name\': \'/Users/dannihong/Documents/leetcode/scrapy_project/file/books.json\'}  # 一般设置参数
 
    # 下载器获取WebServer的response,parse解析响应的内容;输出items和requests
    def parse(self, response: HtmlResponse):  # 如何解析html;返回一个可迭代对象:利用yiled
        subjects = response.xpath(\'//li[@class="subject-item"]\')
        items = []  # 如果用items=[],最后函数要return items
        for subject in subjects:
            item = FirstItem()  # 声明一个item,相当于一个字典,存放要爬取的数据

            title = subject.xpath(\'.//h2/a/text()\').extract()
            item[\'title\'] = title[0].strip()
            rate = subject.css(\'span.rating_nums::text\').extract()
            item[\'rate\'] = rate[0].strip()

            items.append(item)

        with open(\'book.json\', \'w\', encoding=\'utf8\') as f:
            for item in items:
                f.write(\'{} {}\\n\'.format(item[\'title\'], item[\'rate\']))

        return items

 

pipeline处理

将book.py中BookSpider改成生成器,只需要把return items改造成yield item,即由产生一个列表变成yield一个个item。脚手架帮我们创建了一个pipelines.py文件和一个类。 

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   \'first.pipelines.FirstPipeline\': 300,
}

整数300表示优先级,越小越高。取值范围为0-1000。 

 pipeline.py里常用的方法:

process_item(self, item, spider)  # item表示爬取的一个个数据,spider表示item的爬取者,每一个item处理都得调用。返回一个item对象,或者抛出DropItem异常,被丢弃的item对象将不会被pipeline组件处理;

open_spider(self, spider)  # spider表示被开启的spider,调用一次

close_spider(self, spider)  # spider表示被关闭的spider,调用一次

__init__(self)  # spider创建实例时调用一次

 

将爬取的数据通过pipeline写入到json文件中,代码如下:

# first/spiders/book.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http.response.html import HtmlResponse
from ..items import Test1ProItem

class BookSpider(scrapy.Spider):
    name = \'book\'
    allowed_domains = [\'douban.com\']
    start_urls = [\'https://book.douban.com/tag/%E7%BC%96%E7%A8%8B?start=0&type=T\']
    custom_settings = {\'file_name\': \'/Users/dannihong/Documents/leetcode/scrapy_project/file/books.json\'}  # spider上自定义配置信息

    def parse(self, response: HtmlResponse):  # 如何解析html;返回一个可迭代对象:利用yiled
        subjects = response.xpath(\'//li[@class="subject-item"]\')
        for subject in subjects:
            item =FirstProItem()
            title = subject.xpath(\'.//h2/a/text()\').extract()
            item[\'title\'] = title[0].strip()
            rate = subject.css(\'span.rating_nums::text\').extract()
            item[\'rate\'] = rate[0].strip()
            yield item  # 返回一个可迭代对象生成器

 

# first/pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don\'t forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
from scrapy import Spider

class Test1ProPipeline(object):
    def __int__(self):
        print(\'~~~~~~~~~~init~~~~~~~~~~\')

    # 每一个item都会执行一次
    def process_item(self, item, spider:Spider):
        print(\'++++++++++\')
        print(item)
        self.file.write(\'{},\\n\'.format(json.dumps(dict(item))))
        return item

    # 所有过程在起始的时候执行一次
    def open_spider(self, spider):
        print(\'==========open spider {}==========\'.format(spider))
        # file_name = \'/Users/dannihong/Documents/leetcode/scrapy_project/file/books.json\'
        file_name = spider.settings[\'file_name\']
        self.file = open(file_name, \'w\', encoding=\'utf-8\')
        self.file.write(\'[\\n\')

    # 所有过程结束的时候执行一次
    def close_spider(self, spider):
        print(\'==========close spider {}==========\'.format(spider))
        self.file.write(\']\')
        self.file.close()

 

 

以上是关于python爬虫之Scrapy框架的主要内容,如果未能解决你的问题,请参考以下文章

Python之Scrapy安装

走近代码之Python--爬虫框架Scrapy

Python编程基础之(五)Scrapy爬虫框架

Python爬虫之Scrapy框架结构

Python爬虫从入门到放弃之 Scrapy框架的架构和原理

python爬虫入门Scrapy框架之CrawlSpider类