Scrapy+Scrapy-redis+Scrapyd+Gerapy 分布式爬虫框架整合

Posted 2021-01-04 邻家大男孩

简介：给正在学习的小伙伴们分享一下自己的感悟，如有理解不正确的地方，望指出，感谢~

首先介绍一下这个标题吧~

1. Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。

2. Scrapy-redis：虽然Scrapy框架是异步加多线程的，但是我们只能在一台主机上运行，爬取效率还是有限的，Scrapy-redis库为我们提供了Scrapy分布式的队列，调度器，去重等等功能，有了它，我们就可以将多台主机组合起来，共同完成一个爬取任务，抓取的效率又提高了。

3. Scrapyd：分布式爬虫完成之后，接下来就是代码部署，如果我们有很多主机，那就要逐个登录服务器进行部署，万一代码有所改动..........可以想象，这个过程是多么繁琐。Scrapyd是专门用来进行分布式部署的工具，它提供HTTP接口来帮助我们部署，启动，停止，删除爬虫程序，利用它我们可以很方便的完成Scrapy爬虫项目的部署。

4. Gerapy：是一个基于Scrapyd，Scrapyd API，Django，Vue.js搭建的分布式爬虫管理框架。简单点说，就是用上述的Scrapyd工具是在命令行进行操作，而Gerapy将命令行和图形界面进行了对接，我们只需要点击按钮就可完成部署，启动，停止，删除的操作。

1. 创建Scrapy项目：（之前的博客有提到过）

项目的结构如下：（这个项目里包含了多个spider，接下来，就以我圈出来的为例讲解）

因为我这个需要用到固定的代理，在这个讲一下代理如何使用：

代理在middlewares.py这个模块中的process_request方法中进行配置（如果想知道为什么在这里配置，可以去google一下scrapy框架爬虫的整体结构流程），如下：

然后在settings.py中指定具体的代理是什么：如 PROXY_URL=\'http://10.10.10.10:8080\'

如果要设置动态代理，参考这里：https://github.com/Damon-zln/ProxyPool

2. Scrapy-redis分布式配置：

1. 首先，确认Scrapy-redis库已经安装~

    未安装，可以 pip install scrapy-redis 进行安装。

2. 搭建Redis服务器，如果未安装redis数据库的，请自行google~

    Redis安装完成后，就可以远程连接了，如果不能，可能是服务器上没有开放端口（redis默认端口6379）

    记录服务器的IP，端口（默认是6379），密码为foobared，供后面分布式爬虫使用。

3. 配置Scrapy-redis（只需要修改settings.py文件即可）

    将调度器的类和去重的类替换为Scrapy-redis提供的类，在settings.py中配置如下：

    SCHEDULER = \'scrapy_redis.scheduler.Scheduler\'

    DUPEFILTER_CLASS = \'scrapy_redis.dupefilter.RFPDupeFilter\'

    Redis连接配置：

    REDIS_URL = \'redis://[:password]@host:port/db\'

   其他的都使用默认配置（如：调度对列，持久化，重爬，管道）

5. 配置存储目标：

    搭建一个MongoDB服务，将多台主机的数据都存在同一个MongoDB数据库中

    配置如下：

    MONGO_URI =  \'host\'

    MONGO_DB = \'webscrape\'   

所有配置截图如下：

3. Scrapyd的安装：

1. 安装：pip install scrapyd

2. 配置：安装完毕后，需要新建一个配置文件/etc/scrapyd/scrapyd.conf，scrapyd在运行时会读取此配置文件。

    在Scrapyd1.2版本后，不会自动创建该文件，需要我们自行添加。

    首先，执行如下命令新建文件：

    sudo mkdir /etc/scrapyd

    sudo vi /etc/scrapyd/scrapyd.conf

    接着写入如下内容：

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

 配置文件内容参见官方文档：https://scrapyd.readthedocs.io/en/stable/config.html#example-configuration-file

这里的配置文件有所修改：max_proc_per_cpu官方默认是4，即一台主机每个CPU最多运行4个Scrapy任务，在此提高为10，另外，bind_address，默认为本地127.0.0.1，在此修改为0.0.0.0,这样外网可以访问。

3. 后台运行scrapyd：

    scrapyd > /dev/null &

    运行之后，便可在浏览器的6800端口访问WEB UI了，如下：

4. Gerapy分布式管理：

1. 安装：pip install gerapy

2. 使用说明：

利用gerapy命令创建一个项目：

gerapy init

在当前目录下生成一个gerapy文件夹，进入gerapy文件夹，会发现一个空的projects文件夹，后面后用到。

初始化：

gerapy migrate

这样会生成一个SQLite数据库，用于保存各个主机的配置信息等。

启动Gerapy服务：

gerapy runserver host:port (默认是端口8000)

这样，我们就可以通过http://host:8000进入Gerapy管理页面。

在主机管理中添加scrapyd运行的地址和端口，如下：

在projects文件夹中，放入你的Scrapy项目：

可以点击上图中的编辑，在线编辑项目，如果项目没有问题，可以点击部署进行打包和部署，在部署之前要打包项目（打包成一个egg文件），可以部署到多台主机。

 

 部署完毕后，可以回到主机管理页面进行任务调度。点击调度即可进入任务管理页面，可以查看当前主机所有任务的运行状态：

通过点击运行，停止按钮来实现任务的启动和停止，同时可以展开任务条目查看日志详情。

下面是抓取的数据存入MongoDB数据库：

 

至此，分布式爬虫就完成了，可能说的有点简略，如有不理解的，自行google~