Windows10 python 3.5 Scrapy 安装配置

Posted 2020-09-05

　　学习和使用python也有2年有余，一直在cnblogs里面寻求各种问题的解决方案，还未真正的记录下自己学习、思索的点点滴滴；从今天开始将自己的学习或者实践分享出来，其目的有二：1、监督自己不断学习，不断总结；2、将自己知道的分享出来，为后来者贡献一点儿绵薄之力。言归正传，今天首记录下Scrapy的安装和配置。

　　正如标题所示：我目前的操作系统和python软件分别是：windows 10 和 python 3.5，所以介绍的是基于以上环境的scrapy安装。

　　1、安装Twisted

　　　　a.首先下载需要的Twisted文件（http://www.lfd.uci.edu/~gohlke/pythonlibs/），在给定链接的页面搜索Twisted，找到所需对应的whl文件（特别注意：操作系统时32的还是64的，使用的python时32的还是64的）不要混合使用；

　　

　　　　b.安装Twisted，切换到下载目录，使用pip安装，pip install 下载文件的完整名称（例如：pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl）

　　2、安装Scrapy，同样在上面连接页面中搜索scrapy并下载，安装过程依然使用pip install 下载文件的完整名称：

　　

　　3、安装完成进行测试，打开python解释器或者command line，进行如下测试，没有报错说明scrapy正确安装：

　　

　　4、接下来需要进行的就是爬虫之旅，后续文章会逐渐道来，敬请期待。