Mac OS安装Scrapy

Posted 2020-09-22 任伟

个人觉得掌握简单的爬虫知识非常有用，特别是想要从一些特定网站自动地下载一些资源或者统计一些数据，非常的有用。对于产品经理来说，如果要了解竞争产品、替代产品的价格，可以写一个爬虫脚本从各大电商网站爬取相关的资料，避免人工处理的麻烦。

Python写爬虫可以从简单的Scrapy框架入手。对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的。如果你使用python3.x可以使用homebrew来安装，但是如果你习惯使用python2.x，那么直接安装在默认路径会出错。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):

原因很简单：Scrapy依赖six库，但是系统的six库比较老，安装scrapy需要卸载之后安装一个新的。但是Mac OS本身也依赖six，导致无法删除，因此没有办法安装Scrapy。

解决的方式是：使用virtualenv来安装。

1. sudo pip install virtualenv
2. virtualenv scrapyenv
3. cd scrapyenv
4. source bin/activate
5. pip install Scrapy

安装完成之后，安装如下包：

好了，可以使用scrapy startproject yourproject开始你的爬虫之旅了。