scrapy框架的安装

Posted 2021-03-04 weiwuhu

# 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下:

    (1).安装lxml库: pip install lxml

    (2).安装wheel: pip install wheel

    (3).安装twisted: pip install twisted文件路径
    	(twisted需下载后本地安装,下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)
    	(版本选择如下图,版本后面有解释,请根据自己实际选择)

    (4).安装pywin32: pip install pywin32
    	(注意:以上安装步骤一定要确保每一步安装都成功,没有报错信息,如有报错自行百度解决)

    (5).安装scrapy: pip install scrapy
    	(注意:以上安装步骤一定要确保每一步安装都成功,没有报错信息,如有报错自行百度解决)

    (6).成功验证:在cmd命令行输入scrapy,显示Scrapy1.6.0-no active project,证明安装成功 

 

 

1.手动创建一个目录test
2.在test文件夹下创建爬虫项目为spiderpro: scrapy startproject spiderpro
3.进入项目文件夹: cd spiderpro
4.创建爬虫文件: scrapy genspider 爬虫名 域名