macOS pip安装pyspider无法正常启动的问题

Posted 2022-07-15 yuanxuetao

安装环境
    macOS High Sierra 10.13、python3.6

引用文章链接
　　Mac安装pycurl失败 / pyspider安装后无法使用
　　pyspider 启动错误遇到的一些坑

pip3安装pyspider，开启时抛出异常

　　ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)

网上提供的方法

　　pip3 uninstall pycurl
　　export PYCURL_SSL_LIBRARY=openssl
　　pip3 install pycurl --compile

执行完后仍是原来抛出的异常。根据Mac安装pycurl失败 / pyspider安装后无法使用，将pycurl卸载后使用源码安装

    unzip pycurl-master.zip
    python3 setup.py install

运行setup.py安装抛出异常

    clang error: ‘src/docstrings.c‘ no such file

执行命令

    python setup.py docstrings

抛出异常

　　src/pycurl.h:164:13: fatal error: ‘openssl/ssl.h‘ file not found

搜索ssl.h文件，根目录下是存在的

　　

setup.py查看--openssl-dir，可看到组合目录 OPENSSL_DIR/include

　　

加上--openssl-dir参数后就可以指定搜索路径，最后执行安装命令

　　python setup.py install --with-openssl --openssl-dir=/usr/local/Cellar/openssl@1.1/1.1.0g/

安装仍然抛出异常

　　ValueError: Invalid configuration:
        - Deprecated option ‘domaincontroller‘: use ‘http_authenticator.domain_controller‘ instead.

根据pyspider 启动错误遇到的一些坑，原因是WsgiDAV发布了版本 pre-release 3.x导致的，所以只要把版本降下来

    python3 -m pip install wsgidav==2.4.1

开启pyspider，正常运行。可http://localhost:5000查看webUI界面