安装 python 爬虫框架 Scrapy

Posted 2022-04-04 tujia

官方安装说明文档：https://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy 

一、scrapy 需要以下依赖

 

二、一般来说，你可以通过以下命令直接安装 Scrapy（依赖会被自动安装）

pip3 install scrapy

注：关于pip 和 pip3 的区别，请看 这里

 

三、一个常见的问题是：安装 twisted 时，会报 “Microsoft visual c++ 14.0 is required” 错误

解决办法有两个：

1、老老实实安装 Visual C++ Build Tools 2015 套件，套件比较大（大概4G），安装时间比较久，传送门：Visual C++ Build Tools 2015

 

2、用安装 whl 文件的方式安装 Twisted

打开：https://www.lfd.uci.edu/~gohlke/pythonlibs/，crtl + f 查找 twisted，选择适合自己的版本下载

注：这个网站打开有点慢，FQ的话，会好一点

 

四、进入 Twisted 的下载目录，shift + 鼠标右键，选择 “在此处打开 Powershell 窗口”，执行以下命令，安装 Twisted

pip3 install Twisted-19.2.1-cp37-cp37m-win32.whl

 

五、正常安装 Scrapy

pip3 install scrapy

 

六、如遇到其他错误，可以重复以上步骤，使用 whl 文件方式安装 python 扩展

官方：https://pypi.org/

非官方：https://www.lfd.uci.edu/~gohlke/pythonlibs/

 

---

 

本文链接：https://www.cnblogs.com/tujia/p/11169180.html