scrapy项目部署_1

Posted 温良Miner

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy项目部署_1相关的知识,希望对你有一定的参考价值。

什么是scrapyd

Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSON API部署(上传)您的项目并控制其spider。

特点:

  1. 可以避免爬虫源码被看到。
  2. 有版本控制。
  3. 可以远程启动、停止、删除

scrapyd官方文档:http://scrapyd.readthedocs.io/en/stable/overview.html

安装scrapyd

  1. 安装scrapyd
  • 主要有两种安装方式:
  • pip install scrapyd (安装的版本可能不是最新版本)
  • https://github.com/scrapy/scrapyd 中下载源码, 运行python setup.py install 命令进行安装。

  2.安装 scrapyd-deploy

  • 主要有两种安装方式:
  • pip install scrapyd-client(安装的版本可能不是最新版本)
  • http://github.com/scrapy/scrapyd-client 中下源码, 运行python setup.py install 命令进行安装。

scrapyd的简单使用

1.运行scrapyd

运行命令:scrapyd

然后打开浏览器,输入ip加端口:127.0.0.1:6800(或localhost:6800)

2.发布项目到scrapyd

来到待发布项目的文件夹下,发布前需要修改一下配置文件,打开scrapy.cfg文件;

  1. 首先去掉url前面的注释符号,url是scrapyd服务器的网址
  2. 然后project=tenCent为项目名称,可以随意起名
  3. 修改[deploy]为[deploy:100],表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标服务器时使用

最后,打开一个新的终端,运行命令:

scrapyd-deploy <target> -p <project>  --version <version>

  参数解释:

Target:deploy后面的名称。可以为空

Project:自行定义名称,跟爬虫的工程名字无关。

Version:自定义版本号,不写的话默认为当前时间戳

刷新浏览器页面:

3.创建运行爬虫任务

使用命令:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name

 然后点击浏览器界面的Jobs

就可以得到该爬虫的相关运行信息。这里的schedule.json只是scrapyd里的一个API接口,scrapyd还提供其他API接口,具体如下。

scrapyd的控制API

所有的API都是通过http协议发送的请求,目前总共10个api

规则是:http://ip:port/api_command.json,有GET和POST两种请求

1)   daemonstatus.json

检查服务状态

curl http://localhost:6800/daemonstatus.json

结果示例:

2)   addversion.json

增加项目到服务器,如果项目已经存在,则增加一个新的版本

POST请求:

  • project (string, required) –项目名
  • version (string, required) –项目版本,不填写则是当前时间戳
  • egg (file, required) –当前项目的egg文件
curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

结果示例:

3)   schedule.json

启动一个爬虫项目

POST请求:

  • project (string, required) –项目名
  • spider (string, required) –爬虫名,spider类中指定的name
  • setting (string, optional) –自定义爬虫settings
  • jobid (string, optional) –jobid,之前启动过的spider,会有一个id
  • _version (string, optional) –版本号,之前部署的时候的version,只能使用int数据类型,没指定,默认启动最新版本
  • 其他额外的参数都会放入到spider的参数中
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

结果示例:

4)   cancel.json

取消一个 spdier的运行

如果 spider是运行状态,则停止其运行

如果 spider是挂起状态,则删除spider

POST请求:

  • project (string, required) –项目名
  • job (string, required) -jobid
curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444

结果示例:

5)   listprojects.json

获取当前已上传的项目的列表

GET请求:

curl http://localhost:6800/listprojects.json

结果示例:

6)   listversions.json

获取指定项目的可用版本

GET请求:

  • project (string, required) –项目名
 curl http://localhost:6800/listversions.json?project=myproject

结果示例:

7)   listspiders.json

获取指定版本的项目中的爬虫列表,如果没有指定版本,则是最新版本

GET请求:

  • project (string, required) –项目名
  • _version (string, optional) –版本号
$ curl http://localhost:6800/listspiders.json?project=myproject

结果示例:

8)   listjobs.json

获取指定项目中所有挂起、运行和运行结束的job

GET请求

  • project (string, option) - restrict results to project name
curl http://localhost:6800/listjobs.json?project=myproject | python -m json.tool

 

结果示例:

{
"status":"ok",
"pending":[
{
"project":"myproject","spider":"spider1",
"id":"78391cc0fcaf11e1b0090800272a6d06"
}
],
"running":[
{
"id":"422e608f9f28cef127b3d5ef93fe9399",
"project":"myproject","spider":"spider2",
"start_time":"2012-09-12 10:14:03.594664"
}
],
"finished":[
{
"id":"2f16646cfcaf11e1b0090800272a6d06",
"project":"myproject","spider":"spider3",
"start_time":"2012-09-12 10:14:03.594664",
"end_time":"2012-09-12 10:24:03.594664"
}
]
}

 

9)   delversion.json

删除指定项目的指定版本

POST请求

  • project (string, required) - the project name
  • version (string, required) - the project version
curl http://localhost:6800/delversion.json -d project=myproject -d version=r99

结果示例:

10)   delproject.json

删除指定项目,并且包括所有的版本

POST请求

  • project (string, required) - the project name
curl http://localhost:6800/delproject.json -d project=myproject

 结果示例:

BUG处理

1、 builtins.KeyError: \'project\'

错误信息如下:

 

解决:

进行post提交时,需要将参数提交放入到 params或 data中,而不是json

如:requests.post(url, params=params)或requests.post(url, data=params)

2、 TypeError: __init__() missing 1 required positional argument: \'self\'

       修改 spider,增加:

        def __init__(self, **kwargs):
           super(DingdianSpider, self).__init__(self, **kwargs)

 

3、 redis.exceptions.ConnectionError: Error 10061 connecting to localhost:6379

有类似这样的错误,是由于项目中有连接其他服务,譬如这里是redis数据库,需要先启动对应的服务

 

以上是关于scrapy项目部署_1的主要内容,如果未能解决你的问题,请参考以下文章

scrapy 管理部署的爬虫项目的python类

scrapy学习笔记

scrapy 初探(xpath)

Scrapyd部署scrapy项目

scrapy主动退出爬虫的代码片段(python3)

使用Scrapyd部署Scrapy爬虫到远程服务器上