安装pyspider框架时遇到的问题

Posted feng-hao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装pyspider框架时遇到的问题相关的知识,希望对你有一定的参考价值。

安装pyspider, 直接cmd中输入 pip install pyspider, 而后提示报错

技术图片

 

 从网上找到解决方法,pycurl需要根据python版本采用wheel方法安装.

下载链接为https://www.lfd.uci.edu/~gohlke/pythonlibs/, 打开网页搜索pycurl,找到对应版本.

pip install wheel安装好直接, cmd切换到wheel文件目录, 输入 pip install 安装包名称.whl 即可

由于pycuel链接较慢,可用如下地址下载

https://pan.baidu.com/s/1jjf-CD6W0kJ8tDlj88C-QQ

-----------------------------------------------------------------------------

然后启动又遇到问题如图

技术图片

 

 问题产生原因为python3.7中async被纳为关键词,需要将pyspider中的async替换掉, 建议改为async_,

分别在run.py、fetcher->tornado_fetcher.py、webui->app.py , ctrl+f查找async替换掉即可.

---------------------------------------------------------------------------

接下来启动,再次报错如下:

技术图片

 

 百度得到解决方法如下:

产生原因为 WsgiDAV发布了版本 pre-release 3.x导致,需要降低版本,
将wsgidav替换为2.4.1

cmd输入如下命令
•# python -m pip install wsgidav==2.4.1 即可解决.

以上是关于安装pyspider框架时遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章

记一次win 2003 折腾pyspider遇到问题(pycurl)

PySpider安装

docker快速搭建分布式爬虫pyspider

macOS pip安装pyspider无法正常启动的问题

说说我安装pyspider遇到的那些坑

pyspider初次使用pyspider遇到的问题