最方便分布式爬虫管理框架--Gerapy

Posted 2022-03-14 wang-jialu

Gerapy 是一款国人开发的爬虫管理软件（有中文界面）

　　是一个管理爬虫项目的可视化工具，把项目部署到管理的操作全部变为交互式，实现批量部署，更方便控制、管理、实时查看结果。

gerapy和scrapyd的关系就是，我们可以通过gerapy中配置scrapyd后，不使用命令，直接通过图形化界面开启爬虫。

》》安装

pip install gerapy

 

》》配置环境变量

C:\Users\wangjialu\AppData\Local\Programs\Python\Python37\Scripts\

》》cmd 初始化工作目录

>gerapy init    

》》进入该目录初始数据库，会生成一个SQLite数据库，数据库保存主机的配置信息和部署版本。

>cd gerapy
>gerapy migrate 

》》启动服务  http://127.0.0.1:8000  访问界面

>gerapy runserver  

 

》》部署项目

我们将Scrapy项目放在gerapy/project目录下。

添加Scrapy远程服务，我们的scrapy项目发布到Scrapyd上面。

或者

打开你的爬虫项目根目录 配置scrapy.cfg  

[deploy:abckg]
url = http://localhost:6800/
project = Abckg

 

#url 把#去掉

输入命令：scrapyd-deploy <target> -p <projectname>（target:spider.cfg中[deploy:NAME]）（projectname：spider.cfg中project = XXX）

这样就部署成功了！！！