Mac OS X安装 Scrapy

Posted 2023-03-20

参考技术A

环境：Mac OS X Yosemite 10.11.4

<h3>安装Scrapy</h3>

学习Python爬虫必须要使用的框架Scrapy，以下是安装教程 以及可能遇到的问题和解决办法.

打开终端执行以下命令:
<code>sudo easy_install pip</code>
pip 和 easy_install 都是 Python 的框架管理命令，pip 是对 easy_install的升级。
安装成功后接着执行以下命令:
<code>sudo pip install Scrapy</code>

如果执行成功，那么 Scrapy 就安装成功了

但往往事与愿违，你很有可能遇到如下错误：OSError: [Errno 1] Operation not permitted ,就是各种root都不可以,google之后才发现这和新系统有个叫sip的机制有关.
<p> 由于El Capitan引入了SIP机制(System Integrity Protection)， 默认下系统启用SIP系统完整性保护机制，无论是对于硬盘还是运行时的进程限制对系统目录的写操作。 这就是这个OSError: [Errno 1] Operation not permitted 错误的原因,解决办法就是取消SIP机制，具体做法是：
重启电脑，按住Command+R(直到出现苹果标志)进入Recovery Mode(恢复模式),左上角菜单里找到实用工具 -> 终端输入csrutil disable回车重启Mac即可
如果想重新启动SIP机制重复上述步骤改用csrutil enable即可
我们现在再看看sip的状态,
<code>$ csrutil status
System Integrity Protection status: disabled.</code>
这样再安装时再也不会提示无法写入的权限提示了</p>
如果在mac下碰到OSError: [Errno 1] Operation not permitted:的问题，就算用sudo 也无法解决，那肯定是sip在作怪了.

权限的问题解决好后,你也有可能遇见这种错误:

解决方法有如下几种：你可以使用任意一种

1、终端执行命令安装或更新命令行开发工具：
<code>xcode-select --install</code>

2、配置路径：C_INCLUDE_PATH
<code>C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include
</code>

3、参照官网使用如下命令安装Scrapy
<code>STATIC_DEPS=true pip install lxml</code>

一般此三个方法就可解决错误成功安装Scrapy

如果安装成功了 但是在python下执行import scrapy报下面的错误
<code>Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Library/Python/2.7/site-packages/scrapy/ init .py", line 48, in <module>
from scrapy.spiders import Spider
File "/Library/Python/2.7/site-packages/scrapy/spiders/ init .py", line 10, in <module>
from scrapy.http import Request
File "/Library/Python/2.7/site-packages/scrapy/http/ init .py", line 12, in <module>
from scrapy.http.request.rpc import XmlRpcRequest
File "/Library/Python/2.7/site-packages/scrapy/http/request/rpc.py", line 7, in <module>
from six.moves import xmlrpc_client as xmlrpclib
ImportError: cannot import name xmlrpc_client</code>

虽然我也不知道具体原因但已经在stackoverflow上找到解决办法:
在命令行终端依次执行下列命令即可:
<code>sudo rm -rf /Library/Python/2.7/site-packages/six </code>
<code>sudo rm -rf/System/Library/Frameworks/Python.framework/Versions/2.7/Extras
/lib/python/six </code>
<code>sudo pip install six</code>

Mac OS安装Scrapy

个人觉得掌握简单的爬虫知识非常有用，特别是想要从一些特定网站自动地下载一些资源或者统计一些数据，非常的有用。对于产品经理来说，如果要了解竞争产品、替代产品的价格，可以写一个爬虫脚本从各大电商网站爬取相关的资料，避免人工处理的麻烦。

Python写爬虫可以从简单的Scrapy框架入手。对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的。如果你使用python3.x可以使用homebrew来安装，但是如果你习惯使用python2.x，那么直接安装在默认路径会出错。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):

原因很简单：Scrapy依赖six库，但是系统的six库比较老，安装scrapy需要卸载之后安装一个新的。但是Mac OS本身也依赖six，导致无法删除，因此没有办法安装Scrapy。

解决的方式是：使用virtualenv来安装。

1. sudo pip install virtualenv
2. virtualenv scrapyenv
3. cd scrapyenv
4. source bin/activate
5. pip install Scrapy

安装完成之后，安装如下包：

好了，可以使用scrapy startproject yourproject开始你的爬虫之旅了。