python_爬虫 Scrapy 安装报错一整套处理流程

Posted 坨之歌

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python_爬虫 Scrapy 安装报错一整套处理流程相关的知识,希望对你有一定的参考价值。

 

安装顺序

  scrapy 需要的依赖很多。首先需要   twisted  如果没有这个 直接安装  scrapy  会报错 要求你安装一个 vis 14 还是什么的环境,那个东西如果真的要装要 6g 

  但是用 twisted 可以绕过,因此需要先把 twisted 装上 ,但是 twisted  的安装不支持 pip 我们只能用下载下来本地安装 

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

   twisted  的安装需要装 wheel 

pip3 install wheel 

  要想本地安装 twisted 必须要装 pywin32 的支持才可以 

pip3 install pywin32

  然后才可以安装 twisted 在这里会有一些其他的报错 

pip install Twisted‑18.4.0‑cp36‑cp36m‑win_amd64.whl

  最后安装 scrapy 

pip3 install scrapy

 

 

 

报错汇总 

 

直接安装 scrapy 报错 

   如果会有这样的报错要求你装  Visual C++ 14.0 因此我们需要用到 twisted 

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

 

 

 安装 twisted 报错 

 

  这个报错意味着你下错包了。或者你的环境不支持你的下载包类型 

   

  如果是你的python 是 win32 要用这个方式查看一下支持的类型 

>>> import pip
>>> print(pip.pep425tags.get_supported())

   如果是有报错说明你的不是 win32 而是 amd64 

 

  

   amd64 的查看方式是

>>> import pip._internal
>>> print(pip._internal.pep425tags.get_supported())

  由此可见确实没有 cp36,但是是支持 cp37,因此重新下载 cp37 即可 

 

 

  这样就安装成功了

 

  然后再安装 scrapy 就基本上没有问题了 

 

 






















以上是关于python_爬虫 Scrapy 安装报错一整套处理流程的主要内容,如果未能解决你的问题,请参考以下文章

一个咸鱼的python爬虫之路:scrapy 爬虫框架

python3.6安装scrapy报错

Python爬虫_Scrapy

python 爬虫框架scrapy学习记录和整理 python爬虫框架scrapy入门文档学习

Linux下安装Twisted报错

Python爬虫之Scrapy框架结构