Scrapyd部署

Posted 2020-08-31 领域见识决定专业高度

从github（https://github.com/scrapy/scrapyd）下载安装包
放到D:\\python\\Lib\\site-packages\\

解压压缩包：cd 到解压目录

python setup.py install

 

执行命令：Scrapyd；如下证明安装成功

 在项目中找到scrapy.cfg文件，编辑如下：

在scrapy.cfg所在目录中执行命令：

scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置


报错：\'scrapyd-deploy\' 不是内部或外部命令，也不是可运行的程序 或批处理文件。

在windows上使用scrapyd-client

安装后，并不能使用相应的命令\'scrapyd-deploy\'

需要在"C:\\Python27\\Scripts" 目录下 增加scrapyd-deploy.bat文件

内容填充为：

@echo off

"C:\\python27\\python.exe" "C:\\python27\\Scripts\\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

 

在scrapy.cfg所在目录中重新执行命令：

scrapyd-deploy Myploy -p Test #在scrapy.cfg文件有配置

 

现在只是将项目发布到目标地址，但是没有调度爬虫，调度爬虫需要用到ｃｕｒｌ命令，如下：
spd是自定义的：

curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd



如果window下没有安装crul工具包，会

报错：curl 不是内部或外部命令，也不是可运行的程序 或批处理文件。

下载：http://curl.haxx.se/download.html；找到系统对应的版本；下载到本地并解压，找到curl.exe 所在路径配置到系统环境变量中；

再次输入：

curl http://localhost:6800/schedule.json -d project=testscrapy -d spider=spd

 

 

 

参考：
http://www.jianshu.com/p/694a56b2199a

http://blog.wiseturtles.com/posts/scrapyd.html

http://blog.csdn.net/xxwang6276/article/details/45745181