scrapyd和scrapydweb使用详细教程

Posted 沉默的赌徒

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapyd和scrapydweb使用详细教程相关的知识,希望对你有一定的参考价值。

Ⅰ、首先要搞清楚几个概念

1、scrapy是什么?

一个爬虫框架,你可以创建一个scrapy项目

2、scrapyd是什么?

相当于一个组件,能够将scrapy项目进行远程部署,调度使用等

因此scrapyd可以看作一个cs(client-server)程序,因此毫无疑问我们需要安装和配置scrapyd(server)

和连接的scrapy-client(client)

3、scrapydweb是什么?

是一个基于scrapyd的可视化组件,集成并且提供更多可视化功能和更优美的界面

总结:三者如同葫芦套娃,总共三层

 

II、安装scrapy和创建一个scrapy项目

这里我就不细说了,很多很好的博客,这里贴一篇

参照:https://www.cnblogs.com/fengf233/p/11208975.html

 

III、安装scrapyd和scrapyd-client和配置

1、安装

pip install scrapyd
pip install scrapy-client

安装完成后,在cmd中启动命令

scrapyd

在浏览器中输入:http://localhost:6800/,如果出现下面界面则表示启动成功(不要关闭cmd,后面步骤还需要

image

 

2、配置

①配置scrapy项目

打开scrapy项目,有个scrapy.cfg文件,按如下进行配置

image

②上传scrapy项目

将你的scrapy-deploy文件复制到与scrapy.cfg文件同一目录,scrapy-deploy文件位于你python环境下的scripts文件夹中

然后在cmd中进入你的scrapy项目目录,输入:

python scrapy-deploy –l

image

说明已经扫描到项目,接下来就是编译项目

python scrapyd-deploy souhu -p souhu

image

编译完成后就是上传了,上传输入下面代码(默认为启动状态)

curl http://localhost:6800/schedule.json -d project=souhu -d spider=souhuspider3

image

③、在server(http://localhost:6800/)进行检查,在jobs出现列表则表示上传成功

image

image

 

IV、安装scrapydweb

(开源地址:https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md

1、安装

pip install scrapydweb

运行(前提是scrapyd服务器必须处于运行状态)

scrapyweb

如果出现下面可视化界面,表示安装成功

image

 

注意:如果出现6801端口无法连接,这个是因为你没有配置集群环境,不用担心

image

 

2、配置

(基本上使用默认的就行,根据需要配置)

配置文件在你当前启动scrapydweb路径下,scrapydweb_settings_v10.py,只有两处需要配置。

①第一处就是username和password,如果是远程的服务器的话,建议开启认证

image

②第二处是项目路径(这里是scrapydweb比较方便的地方,不用事先将项目先上传到scrapyd服务器,scrapydweb能够帮我们上传)

image

 

3、重启并开始管理

①重启

scrapydweb

②开始可视化管理

image

以上是关于scrapyd和scrapydweb使用详细教程的主要内容,如果未能解决你的问题,请参考以下文章

如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目

LogParser v0.8.0 发布:一个用于定期增量式解析 Scrapy 爬虫日志的 Python 库,配合 ScrapydWeb 使用可实现爬虫进度可视化

scrapydWeb安装和使用

在手机上部署运行scrapyd服务

scrapyd的安装和基本使用

scrapydweb 安装部署