windows下安装Scrapy

Posted 2020-08-14 Hisheng

前言

最近有一个爬虫的需求，其实之前也玩过一点，但是都只是止步于会用工具的程度，接下来准备深入系统学习一下python爬虫。

谈到python爬虫，不能不提的就是大名鼎鼎的scrapy爬虫框架。不过，如果只是入门的话，我建议没有必要过早的接触框架类的东西，尽量使用一些简单的工具库，会比较有助于你理解爬虫的原理。

只是我个人习惯，安装python之后就一定要把scrapy一起安装了，因为总觉得我迟早会用到它，所以先装着无妨。

之前安装scrapy时都是一路坎坷，没有那么容易，特别是在windows下安装scrapy更是各种各样的问题，不过没想到这次倒是没怎么遇到问题，大概是找到了正确的姿势。

安装步骤

1.安装Python

学习爬虫，最好还是从经典的2.7版本开始，安装过程非常简单，就不赘述了。

随手甩个链接吧： https://www.python.org/downloads/release/python-2712/ 

2.安装VCForPython27

windows下使用scrapy需要VC2012或者2010，不过为了一个scrapy去安装这么庞大的东西实在是大材小用，因此可以选择一个针对python的版本：VCForPython27

下载地址：https://www.microsoft.com/en-us/download/details.aspx?id=44266

记得安装之后最好重启一下系统

3.安装lxml

安装教程见：http://blog.csdn.net/g1apassz/article/details/46574963

4.最后一步

pip install scrapy 大功告成！