Gerapy 使用详解

Posted 2020-11-03

介绍:

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

更方便地控制爬虫运行

更直观地查看爬虫状态

更实时地查看爬取结果

更简单地实现项目部署

更统一地实现主机管理

更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)

一 : Greapy 安装

1. gerapy下载

$pip install gerapy
$gerapy 查看是否安装成功

成功信息:

Usage:
  gerapy init [--folder=<folder>]
  gerapy migrate
  gerapy createsuperuser
  gerapy runserver [<host:port>]

2. 初始化gerapy

$gerapy init

执行完毕之后，便会在当前目录下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹

3. 初始化数据库

要cd 到gerapy目录

$cd gerapy
$gerapy migrate

会在gerapy目录下生产一个sqlite数据库，同时创建数据表

4.运行gerapy服务

`$gerapy runserver`

5.访问gerapy管理界面

`http://127.0.0.1:8000`

![](http://i2.51cto.com/images/blog/201805/09/f38cf08ad1004535950f43ba0eaec1d4.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

二 : Greapy 管理界面使用

1. 配置主机

就是配置我们scrapyd 远程服务.
![](http://i2.51cto.com/images/blog/201805/09/e256bacecbcb6838165cd3644998569a.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

需要添加 IP、端口，以及名称，点击创建即可完成添加，点击返回即可看到当前添加的 Scrapyd 服务列表

不了解scrapyd的请移步:https://blog.csdn.net/fengltxx/article/details/79889340

创建成功后,我们可以在列表中查看已经添加的服务
![](http://i2.51cto.com/images/blog/201805/09/34dd46a15b3556c0c0df625e77328b43.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

如果想执行爬虫,就点击调度.然后运行. 
前提是: 我们配置的scrapyd中,已经发布了 爬虫.
![](http://i2.51cto.com/images/blog/201805/09/87cad32deffb78a3ff728b6b637e5398.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
这里写图片描述

可能有的疑问: 
Gerapy 与 scrapyd 有什么关联吗?

我们仅仅使用scrapyd是可以调用scrapy进行爬虫. 只是 需要使用命令行开启爬虫

`curl http://127.0.0.1:6800/schedule.json -d project=工程名 -d spider=爬虫名`

使用Greapy就是为了将使用命令行开启爬虫变成 “小手一点”. 我们在gerapy中配置了scrapyd后,不需要使用命令行,可以通过图形化界面直接开启爬虫.

2. 配置Projects

我们可以将scarpy项目直接放到 /gerapy/projects下.然后可以看到gerapy后台看到有个项目,可以为这个项目部署到之前配置的主机中. 有时间再更新,……