Scrapy 安装问题集锦

Posted 2022-12-03 ycszen

scrapy 具体安装教程网上已经有很多了，我也就不赘述了。但是在我 按照网上教程安装时，遇到的很多问题并没有一个统一的解决。所以，在此进行一个安装问题的集锦，如果大家还遇到了其他问题，欢迎提出，随时更新~ OK！直接上干货~
—— 废话

1.安装 scrapy 所需文件：

 scrapy 
 pywin32 
 twisted（依赖于 zope.interface pyopenssl）
 lxml

具体文件可去对应官网下载
或者去 该网站下载（适用于windows同学）

---

2.win7/8同学安装对应文件出现python 2.7 required 问题

原因：

python 的版本是 python 64bit

解决：

• 卸载 python 64bit， 安装 python 32bit即可（win8卸载方法：控制面板-卸载程序-卸载）
• win8同学可能在卸载的时候会遇到中断的问题，可在 该网站 下下载对应文件安装即可，这个网站下的文件是专门针对于 windows 下64bit的情况
• Tip：在网站下使用Ctrl-F查找将更加方便；安装whl文件，使用
  pip install *.whl，前提要安装了pip）

---

3.在运行scrapy crawl spider 时出现 unhandled error in deferred

Unhandled error in Deferred:
[twisted] CRITICAL: Unhandled error in Deferred:
[twisted] CRITICAL:

原因：

pywin32 module 只下载了没安装

解决：

进入文件夹 python27/Scripts/ 找到 pywin32_postinstall.py 文件，在当前目录下的命令行中执行 python pywin32_postinstall.py -install （原答案找到于 stackoverflow）

---

4.运行 scrapy 时出现缺少文件service_identity

解决：

找到 service_identity-14.0.0-py2.py3-none-any.whl 文件安装即可