python--scrapy框架配置redis数据库或者mongdb数据库

Posted kitshenqing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python--scrapy框架配置redis数据库或者mongdb数据库相关的知识,希望对你有一定的参考价值。

首先在settings文件中进行配置:

# mongdb
MONGODB_URI = mongodb://127.0.0.1:27017
MONGODB_SERVER="127.0.0.1"
MONGODB_PORT=27017
MONGODB_DB = "abckg" # 库名
MONGODB_COLLECTION="content" # 集合(表)

# redis
REDIS_URL = redis://127.0.0.1:6379
REDIS_SERVER = "127.0.0.1"
REDIS_PORT = 6379
REDIS_DB = 0   # 指定连接的库,0代表索引为0的库
MY_REDIS=myspider:urls #redis数据表中的myspider文件夹下的urls列表

然后就可以在管道中使用了。

首先事mongodb数据库:

import pymongo
import fu.settings as settings

class FuPipeline(object):
    ‘‘‘mogodb连接‘‘‘
    def __init__(self):
        self.conn = pymongo.MongoClient(settings.MONGODB_URI, settings.MONGODB_PORT)
        self.db = self.conn[settings.MONGODB_DB]  # 选择数据库
        self.MG_table = self.db[settings.MONGODB_COLLECTION]  # 选择表
        self.db.authenticate(name=aaa, password=12345, source=admin)

    def process_item(self, item, spider):
        self.MG_table.insert(dict(item))
        return item

然后就是redis数据库:

import redis
import logging
import zhu.settings as settings
from scrapy.utils.project import get_project_settings
from scrapy.exceptions import DropItem

class ZhuPipeline(object):
    ‘‘‘连接redis 数据库‘‘‘
    def __init__(self):
        self.redis_table = settings.MY_REDIS  # 选择表
        self.redis_db = redis.Redis(host=settings.REDIS_SERVER, port=settings.REDIS_PORT,
                                    db=settings.REDIS_DB)  # redis数据库连接信息

    def process_item(self, item, spider):
        if self.redis_db.exists(item[url]):
            ‘‘‘url已存在‘‘‘
            logging.debug("redis:url is exites!!!!!!!!!!!!!")
            raise DropItem(%s is exists!!!!!!!!!!!!!!!! % (item[url]))
        else:
            ‘‘‘url不存在,写入到数据库‘‘‘
            logging.debug("redis:url is not exites!!!!!!!!!!!!!")
            self.redis_db.lpush(self.redis_table, item[url])
        return item

 

以上是关于python--scrapy框架配置redis数据库或者mongdb数据库的主要内容,如果未能解决你的问题,请参考以下文章

Python Scrapy爬虫框架安装配置及实践

Python Scrapy框架

python——Scrapy 框架

python——scrapy-redis分布式组件

Python Scrapy框架

Python Scrapy爬虫框架实战应用