scrapy部署

Posted 2020-11-22 angdh

 

 

pip install scrapyd

安装完毕后，查看scrapyd的配置文件，scrapyd会在如下位置依次查找配置文件，并以最后一个找到的配置文件为准进行配置

　　　　/etc/scrapyd/scrapyd.conf (Unix)

　　　　c:scrapydscrapyd.conf (Windows)

　　　　/etc/scrapyd/conf.d/* (in alphabetical order, Unix)

　　　　scrapyd.conf

　　　　~/.scrapyd.conf (users home directory)

查看scrapyd的安装目录  */site-packages/scrapyd，发现有一个default_scrapyd.conf默认配置文件，打开该文件，显示如下内容

　　　　这里有一个名为bind_address的选项，默认值为127.0.0.1，我们将其改为0.0.0.0（ 在服务器中，0.0.0.0指的是本机上的所有IPV4地址，如果一个主机有多个IP地址，并且该主机上的一个服务监听的地址是0.0.0.0,那么通过多个ip地址都能够访问该服务。）

 

 

 

执行命令启动scrapyd 

当我执行完命令后报错，说是找不到命令：

 

那是因为我系统上python2与3并存，所以找不到，这时应该做软连接：

我的python3路径：  /usr/local/python3

制作软连接： ln -s /usr/local/python3/bin/scrapy  /usr/bin/scrapy

scrapyd &启动后台服务

 

打开浏览器，输入 服务端地址:6800，显示如下页面，配置成功

 

---

 

• 客户端安装部署：

　　　　pip install scrapyd-client

 

执行完毕后，找到scrapy-client的安装目录，发现一个名为scrapyd-deploy的文件，我们把它复制到scrapy项目中与scrapy.cfg同级的目录中（不复制也可以，但这样操作会方便一点）

 

打开scrapy.cfg文件，有如下内容，需要做的就是把[deploy]改为[deploy:mingzi]的形式，mingzi名称自拟，然后再把url前的注释去掉，并且将地址改为scrapyd的服务器地址。

 

• 打开爬虫项目scrapy.cfg
• 【deploy】去掉url注释（url前# 去掉）
• 【settings】将deploy的url复制一份到setting中

python scrapyd-deploy -l来查看 爬虫 的配置情况 

python scrapyd-deploy -L mingzi  查看名为mingzi  的target下可用的爬虫项目

 

python scrapy-deploy mingzi  -p toolspider 将mingzi  中的toolspider项目部署到scrapyd服务端

 

 

---

https://www.cnblogs.com/wangqinkuan/p/9990652.html

 

 

------------恢复内容结束------------