Pyspider安装使用

Posted crown-v

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pyspider安装使用相关的知识,希望对你有一定的参考价值。

一.安装

  在我们安装的时候,需要用到的PhantomJs,Pyspider依赖于这个隐形的浏览器。window下需要配置环境变量

使用命令安装:

pip3 install pyspider

测试安装成功的命令:

pyspider all

在安装的情况下,会出现很多的错误,以下是我安装出现的错误

情况1: 在命令下会出现程序卡在[I 200516 15:41:02 result_worker:49] result_worker starting...

      解决方法: 卸载wsgidav,安装版本比较低的

pip uninstall wsgidav  #卸载命令
pip install wsgidav==2.4.1  #安装低版本命令

情况2:命令出现ImportError: cannot import name ‘DispatcherMiddleware‘错误

    重新安装低版本的werkzeug

#卸载
python -m pip uninstall werkzeug
#安装指定版本
python -m pip install werkzeug==0.16.0
 

运行成功:

技术图片

直接打开浏览器输入:

http://localhost:5000/

技术图片

 

以上是关于Pyspider安装使用的主要内容,如果未能解决你的问题,请参考以下文章

利用 pyspider 框架抓取猫途鹰酒店信息

Pyspider安装使用

Pyspider安装使用

PySpider安装

pyspider爬虫框架的安装和使用

macOS pip安装pyspider无法正常启动的问题