Scrapy进阶知识点总结——Item Pipeline

Posted fengf233

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy进阶知识点总结——Item Pipeline相关的知识,希望对你有一定的参考价值。

 

Item Pipeline

Item Pipeline调用发生在Spider产生Item之后。当Spider解析完Response之后,Item就会传递到Item Pipeline,被定义的Item Pipeline组件会顺次调用,完成一连串的处理过程,比如数据清洗、存储等。

Item Pipeline的主要用途是:

  • 清理html数据。

  • 验证爬取数据,检查爬取字段。

  • 查重并丢弃重复内容。

  • 将爬取结果保存到数据库。

 

Pipeline类

可以自定义管道类,但每个管道类必须实现以下方法:

process_item(self, item, spider)

process_item()是必须要实现的方法,被定义的Item Pipeline会默认调用这个方法对Item进行处理。比如,我们可以进行数据处理或者将数据写入到数据库等操作。它必须返回Item类型的值或者抛出一个DropItem异常。

参数:

  • item,是Item对象,即被处理的Item。

  • spider,是Spider对象,即生成该Item的Spider。

 

除了process_item()必须实现,管道类还有其它的方法实现:

1.open_spider(spider)

在Spider开启时被调用,主要做一些初始化操作,如连接数据库等。参数是即被开启的Spider对象

2.close_spider(spider)

在Spider关闭时被调用,主要做一些如关闭数据库连接等收尾性质的工作。参数spider就是被关闭的Spider对象

3.from_crawler(cls,crawler)

类方法,用@classmethod标识,是一种依赖注入的方式。它的参数是crawler,通过crawler对象,我们可以拿到Scrapy的所有核心组件,如全局配置的每个信息,然后创建一个Pipeline实例。参数cls就是Class,最后返回一个Class实例。

 

激活Item Pipeline组件

要激活Item Pipeline组件,必须将其类添加到 ITEM_PIPELINES设置中,如下例所示

ITEM_PIPELINES = 
    myproject.pipelines.Pipelineclass1: 300,
    myproject.pipelines.Pipelineclass2: 800,

设置中为类分配的整数值决定了它们运行的??顺序:项目从较低值到较高值类别。习惯上在0-1000范围内定义这些数字。

 

示例

1.写入文件

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open(items.jl, w)

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

2.存入mysql

import pymysql
class MySQLPipeline(object):
    def __init__(self):
        # 连接数据库
        self.db = pymysql.connect(
            host=localhost,  # 数据库IP地址
            port=3306,  # 数据库端口
            db=dbname,  # 数据库名
            user=root,  # 数据库用户名
            passwd=root,  # 数据库密码
            charset=utf8,  # 编码方式
            )
        # 使用cursor()方法获取操作游标 
        self.cursor = self.db.cursor()

    def process_item(self, item, spider):
        #编写insert sql语句,这里是数据库中已经有表了
        sql =  "INSERT INTO EMPLOYEE(FIRST_NAME,LAST_NAME) VALUES (‘%s‘, ‘%s‘)" %(item[F_name],item[L_name])
        try:
            # 执行sql语句
            self.cursor.execute(sql)
            # 提交sql语句
            self.db.commit()
        except:
            # 发生错误时回滚
            self.db.rollback()
        # 返回item
        return item 
        
    def close_spider(self, spider):
        self.db.close()

3.存入mongodb

import pymongo
class MongodbPipeline(object):

    def __init__(self):
        # 建立MongoDB数据库连接
        self.client = pymongo.MongoClient(mongodb://localhost:27017/)
        # 连接所需数据库
        self.db = client[scrapy]
        # 连接集合(表)
        self.coll = db[collection_name]

    def process_item(self, item, spider):
        postItem = dict(item)  # 把item转化成字典形式
        self.coll.insert(postItem)  # 向数据库插入一条记录
        return item 
        
    def close_spider(self, spider):
        self.client.close()

4.from_crawler()实例

class MongoPipeline(object):
    collection_name = xxx

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            #从crawler setting中获取配置
            mongo_uri=crawler.settings.get(MONGO_URI),
            mongo_db=crawler.settings.get(MONGO_DATABASE)
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        postItem = dict(item) 
        self.db[self.collection_name].insert(postItem) 
        return item

 

以上是关于Scrapy进阶知识点总结——Item Pipeline的主要内容,如果未能解决你的问题,请参考以下文章

scrapy进阶(CrawlSpider爬虫__爬取整站小说)

Scrapy爬虫进阶crawlspider类的使用

Scrapy 框架之 Item Pipeline 的使用

玩转 Scrapy 框架 :Item Pipeline 的使用

scrapy基础知识之 处理Redis里的数据:

scrapy初探之实现爬取小说