如何部署Scrapy 到Scrapyd上?

Posted 程序猿终结者

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何部署Scrapy 到Scrapyd上?相关的知识,希望对你有一定的参考价值。

安装上传工具

 

1、上传工具

scrapyd-client

 

2、安装方法:

pip install scrapyd-client

 

3、上传方法:

python d:\Python27\Scripts\scrapyd-deploy target -p project

注:

target -- 主机地址,如localhost;

project -- 工程名,如stock_uc;

 

4、前提:

①假设python安装位置d:\Python27\

②需进入工程目录下执行上传命令;

③可选参数:

--version r03,即:

python d:\Python27\Scripts\scrapyd-deploy target -p project --version r03

 

安装调度工具curl

1Linux系统

一般情况下Linux系统自带curl工具,如果没有请百度安装方法;

 

2Windows系统

1、下载地址:

链接:http://pan.baidu.com/s/1mgy9zVq

密码:4lqh

 

2、安装方法:

 1)解压下载的文件夹,比如解压后的位置E:\bin-curl

 2)添加解压后的文件夹路径到环境变量Path中,比如:   D:\Python27\;D:\Python27\Scripts\;E:\bin-curl\;***

 3)重启电脑是环境变量生效;

 4)测试,运行:curl --help 查看帮助信息;

 

调度爬虫

1、添加版本信息

curl http://localhost:6800/addversion.json -F project=myproject -F       version=r23 -F [email protected]

 

2、调度spider执行

curl http://localhost:6800/schedule.json -d project=myproject -d    spider=somespider

 

3、取消spider的执行

curl http://localhost:6800/cancel.json -d project=myproject -d      job=6487ec79947edab326d6db28a2d8651

 

4、列出工程 

curl http://localhost:6800/listprojects.json

 

5、如何启动scrapyd,以及如何把一个现有的工程部署到scrapyd上面:

第一步:输入scrapyd,敲击enter,等待:

 技术分享

第二步:在这个服务器上部署工程,具体方法前面已经提到过

技术分享

第三步:调度spider

技术分享

第四步:取消

技术分享

第五步:列出工程

技术分享

 

总结

1,能正确安装scrapyd-client;

2,能够正确安装curl

3,学会project的上传和spider的调度;

 

文章来源:麦子学院

原文链接:http://www.maiziedu.com/wiki/crawler/deploy/

以上是关于如何部署Scrapy 到Scrapyd上?的主要内容,如果未能解决你的问题,请参考以下文章

使用Scrapyd部署Scrapy爬虫到远程服务器上

Scrapyd部署scrapy项目

scrapyd部署scrapy项目

分布式爬虫的部署之Scrapyd对接Docker

Python爬虫从入门到放弃(二十一)之 Scrapy分布式部署

如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目