django--关于部署scrapyd项目报错问题

Posted lutt

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了django--关于部署scrapyd项目报错问题相关的知识,希望对你有一定的参考价值。

首先在同步两篇之前写过的博客,可能能用得到

1、https://www.cnblogs.com/lutt/p/10893192.html
2、https://www.cnblogs.com/lutt/p/10895317.html
在上述操作的过程中,在执行命令:scrapyd-deploy时遇报错:

/usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead.
from scrapy.utils.http import basic_auth_header
Error: no Scrapy project found in this location

技术图片

 

 

 乍一看以为是路径问题导致找不到scrapy项目,其实不然,报错已经说明,由于底层scrapyd-deploy的模块‘scrapy.utils.http’已经弃用,建议更新为`w3lib.http`替代
解决办法其实很简单,点击上图链接:

技术图片

 

 把原先第23行代码替换成24行即可成功解决这一问题!
在将scrapyd部署的过程中可能还会遇到其他问题,比如:

技术图片

 

 Don‘t worry

不着急,详情请移步我开头的两篇博客

 

以上是关于django--关于部署scrapyd项目报错问题的主要内容,如果未能解决你的问题,请参考以下文章

Scrapyd部署scrapy项目

Scrapyd 项目爬虫部署

scrapyd部署scrapy项目

Scrapy学习-25-Scrapyd部署spider

scrapyd 部署scrapy项目

五十一 Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目