安装Scrapy的坑

Posted marksun3

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装Scrapy的坑相关的知识,希望对你有一定的参考价值。

1.看了好久的人工智能,遂想爬点数据分析下,开始在windows下装IDE。。。

如果同学你没有C++编译环境你需要安装 下 C++编译环境,原理请参考(看不懂的自行谷歌浏览器右击翻译):

 
2.安装好了之后我们又开心的执行 pip install Scrapy。。。结果又报错
技术分享图片

咋眼一看还以为是vs的问题,但是红字部分是 一个叫 Twisted的包安装不了

于是google继续找:

参考:https://blog.csdn.net/hunter_wyh/article/details/78422121

因为本人用的是python3.7所以到如下

https://www.lfd.uci.edu/~gohlke/pythonlibs/

搜索 “twisted”,点击 链接 到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

我用的python3.7所以下载了  typed_ast?1.1.0?cp37?cp37m?win_amd64.whl

下载到该文件到c盘 然后执行

pip install C:Twisted-18.7.0-cp37-cp37m-win_amd64.whl

成功之后(如果不成功,您可以考虑换linux做开发了,搞个虚拟机,爽歪歪),再执行

pip install Scrapy

以上是关于安装Scrapy的坑的主要内容,如果未能解决你的问题,请参考以下文章

scrapy的使用

Python scrapy 常见问题及解决 遇到的坑

scrapy爬虫踩的坑

第一次使用scrapy,记下爬过的坑

scrapy学习笔记 1,第一次使用scrapy

[爬虫框架scrapy]scrapy的安装