Scrapyd 使用详解

Posted 2020-11-03

前言:
必须清楚一点的是,scrapyd 不是scrapy.
scarpy是一个爬虫框架, 而scrapyd是一个网页版管理scrapy的工具, scrapy爬虫写好后，可以用命令行运行，但是如果能在网页上操作就比较方便. scrapyd就是为了解决这个问题，能够在网页端查看正在执行的任务，也能新建爬虫任务，和终止爬虫任务，功能比较强大. 还有一个更加强大的国产工具 gerapy!

Scrapyd 使用详解：

一. 安装scrapyd

pip install

2.安装scrapyd-client

pip install scrapyd-client

3.运行scrapyd

首先切换命令行路径到Scrapy项目的根目录下，
要执行以下的命令，需要先在命令行里执行scrapyd，将scrapyd运行起来

$ scrapyd   
$的意思是.在命令行下

4.发布工程到scrapyd

4.1 ： 修改爬虫的scapy.cfg文件

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = CZBK.settings
[deploy]                   
url = http://localhost:6800/   将#注释掉
project = CZBK

[deploy:服务器名随意设置(trager)]，一般情况用在需要同时发布爬虫到多个目标服务器时，可以通过指定名字的方式发布到指定服务器。相当于服务器名.

4.2 ： 检查scrapy配置是否正确
scrapyd-deploy -l # 注意是小写的 L,不是数字1

5. 发布爬虫

scrapyd-deploy <target> -p <project> --version <version>

target就是前面配置文件里deploy后面的的target名字。
project 可以随意定义，跟爬虫的工程名字无关。
version自定义版本号，不写的话默认为当前时间戳。

注意，爬虫目录下不要放无关的py文件，放无关的py文件会导致发布失败，但是当爬虫发布成功后，会在当前目录生成一个setup.py文件，可以删除掉。

$scrapyd-deploy -p cz $的意思是.在命令行下.注意刚刚启动scrapyd的命令行不要关闭

发布成功后信息：
Packing version 1523349647
Deploying to project "cz" in http://localhost:6800/addversion.json
Server response (200):

{"project": 
"cz", "node_name":
"ubuntu", "status":
"ok", "spiders": 
1, "version":
"1523349647"}

6.启动爬虫

curl http://127.0.0.1:6800/schedule.json -d project=工程名 -d spider=爬虫名

在发布成功的信息中可以找到工程名（这个工程名不是项目，而是发布时-p后的参数）

$curl http://127.0.0.1:6800/schedule.json -d project=cz -d spider=cz

成功信息：

{"node_name":
"ubuntu", "status":
"ok", "jobid":
"23be21443cc411e89c37000c29e9c505"}

运行后，可以在http://127.0.0.1:6800/jobs 查看运行的爬虫的详细信息

7. 取消爬虫

curl http://127.0.0.1:6800/cancel.json -d project=cz -d job=jobid #jobid不要带""

注: gerapy 持续更新