scrapyd打包到服务器运行

Posted 临江尘

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapyd打包到服务器运行相关的知识,希望对你有一定的参考价值。

进入所在项目的路径,查看scrapy.cfg文件的信息

执行scrapy list 查看要可以运行的项目

 

执行 scrapyd-deploy wj -p TotalSpider

该命令( scrapyd-deploy)通过读取scrapy项目目录下的配置文件scrapy.cfg来获取项目信息。
每一个scrapy.cfg对于scrapyd来说都是一个target。所以我们需要先编辑scrapy.cfg文件
> [deploy:NAME]
>> 如果你只有一个deploy配置那么可以不写NAME
但是如果你需要在多个远程服务器或者多个scrapyd进程上部署的话
应该为不同的deploy命名,方便部署。
查看当前项目下的所有配置文件可以用命令 scrapyd-deploy -l

 

直接在这个文件夹下输入,传入windows,上传至spiderkeeper

scrapyd-deploy --build-egg output.egg

 参考:

https://www.jianshu.com/p/93ccb59ce9b3







以上是关于scrapyd打包到服务器运行的主要内容,如果未能解决你的问题,请参考以下文章

安装scrapyd-client解决后期爬虫部署上线,打包成egg的方案

在后台/作为服务运行Scrapyd的首选方法

在手机上部署运行scrapyd服务

ScrapyRT 与 Scrapyd

使用Scrapyd部署Scrapy爬虫到远程服务器上

scrapyd的安装和基本使用