爬虫框架scrapy安装

Posted 2020-09-21 月下柳梢映

环境：Python3.4版本，win732位系统

 

 1.Mac OS 安装
pip install scrapy
2.Ubuntu安装
(1)首先要安装依赖库： sudo apt-get install python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
(2)安装scrapy：sudo pip install scrapy

 

 

 

3.Windows安装（本人建议自己找whl文件安装，不建议pip直接安装）
       (1)安装 lxml
方法一：pip install lxml 
方法二：下载whl文件，然后pip安装
(2)安装twisted
方法一：pip install twisted
方法二：下载whl文件，然后pip安装
(3)安装scrapy（）
方法一：pip install scrapy
方法二：下载whl文件，然后pip安装
备注：
whl文件自己可以去 lfd 去寻找适合自己开发环境的版本，链接：http://www.lfd.uci.edu/~gohlke/pythonlibs/