windows下Scrapy爬虫框架

Posted 2020-09-20 北冥有鱼，南冥有猫

 1.   安装python 根据你的需求下载python安装包，安装python（本文基于python27）https://www.python.org/downloads/
　　 下载完安装默认安装路径，方便后续

　　在 环境变量---"Path"中加入路径："C:\\Python27;C:\\Python27\\Scripts;"
　　在运行中输入"cmd"打开命令窗口，输入"python --version"，如果成功显示python版本号，则python安装成功！如果未显示，则重启计算机！　　

2.   安装pywin32

　　根据需要下载相应的pywin32安装包
   https://sourceforge.net/projects/pywin32/files/pywin32/Build%20217/

  　版本号：选中前两个任一个打开

　　博主的python是32位，所以选中下载下方这个：（看自己安装的python的位数直接打开cmd，输入python就可以了，32位是这样显示的：Python 2.7.2+ ... [MSC v.1500 32 bit (Intel)] on win32）

　　

3.   安装pip 一般为python默认安装好的，在"安装目录/python27/Scripts"目录中有"pip.exe"则默认安装成功；

 　 若python未默认安装，在安装pip前，请确认你win系统中已经安装好了python，和easy_install工具，如果系统安装成功，easy_install在目录C:\\Python27\\Scripts 下面
　　进入命令行，然后把目录切换到python的安装目录下的Script文件夹下，运行 easy_inatall pip
　　重启cmd命令窗口，输入"pip --version"，若显示pip版本号，则安装成功！

4. 安装lxml　　
　　若系统未安装vs2008，则安装lxml 前，先安装vcforpython27。 
　　在https://pypi.python.org/pypi/lxml/3.6.0#downloads 中下载lxml for 2.7，下载安装。

5.   安装pyOpenSSL

重启cmd命令窗口，用pip安装openSSL，输入命令"pip install pyOpenSSL"

6.  安装scrapy

　　重启cmd命令窗口，用pip安装openSSL，输入命令"pip install scrapy" 
　　等待自动安装，安装完成后输入"scrapy"，提示scrapy的命令提示内容，安装过程结束。