Scrapy中如何针对不同的Spider/Item分别进行处理

Posted sam11

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy中如何针对不同的Spider/Item分别进行处理相关的知识,希望对你有一定的参考价值。

pipelines.py中有方法如下

def process_item(self, item, spider):

通过item参数,可以针对不同的Item进行处理,例如:

if isinstance(item, AAItem):

    ......

elif isinstance(item, BBItem):

    ......

通过spider参数,可以针对不同的Spider进行处理,例如:

if spider.name == ‘SpiderXX‘:

    ......

elif spider.name == ‘SpiderYY‘:

    ......

以上是关于Scrapy中如何针对不同的Spider/Item分别进行处理的主要内容,如果未能解决你的问题,请参考以下文章

scrapy爬虫之爬取汽车信息

如何在单个 Scrapy 项目中为不同的蜘蛛使用不同的管道

爬虫日记(66):Scrapy的设置参数-抓取风格

scrapy1.0手册--01--命令行工具(Command line tools)

Scrapy 扩展中间件: 针对特定响应状态码,使用代理重新请求

Python -- Scrapy 命令行工具(command line tools)