Scrapy框架安装与使用（基于windows系统）

Posted 2021-03-13 yandashan666

　　“人生苦短，我用python”。最近了解到一个很好的Spider框架——Scrapy，自己就按着官方文档装了一下，出了些问题，在这里记录一下，免得忘记。

---

　　Scrapy的安装是基于Twisted进行安装的，在Python3.8的环境中，并不像是网上许多教程所说的那样需要安装许多的插件，只需要安装好Twisted就够了。所以，为了确保一次安装成功，我们首先要安装Twisted。

下载Twisted网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

　　下拉找到如下内容：

 　　按照自己的版本进行下载，注意，cp后为python的版本号，python3.8就是 cp38 ；32位win32,64位为win_amd64

　　下载成功后，win+R输入cmd.exe，进入到Twisted所在目录，使用 pip install 你自己的版本 命令进行安装。

 　　安装结束后，在结尾处显示Successfully installed ...即安装成功。

　　如果在安装时出现pip版本过低的问题，如   You are using pip version 20.0.1; however, version 20.0.2 is available. You should consider upgrading via the ‘e:python安装位置python.exe -m pip install --upgrade pip‘ command.  则升级pip重新安装即可。升级pip的命令，按照提示命令进行即可，如 e:python安装位置python.exe -m pip install --upgrade pip 

　　安装后如下图所示：

　　安装Twisted结束后，使用命令 pip install scrapy 进行安装即可（默认安装最新版本）。

---

　　创建Scrapy项目--两种方法进行创建（以在visual studio code中为例，其他Windows终端中创建方法相同）

　　Scrapy项目结构目录如下：

　　1、官方给出的创建的方法是，在项目目标位置进行创建 scrapy startproject 你的项目名字 

　　进入创建的项目，然后创建你的代码py文件。创建.py文件命令 scrapy genspider .py文件名字 带爬取的网站网址 

 　　2、使用bat文件进行创建

　　创建.bat文件，填写如下代码：

 　　在文件夹中点击运行，项目自动创建，以后在只需要更改 name= 后的内容即可。

---

 　　运行目标项目.py文件

　　1、按照官方给出的方法

scrapy crawl 要运行的.py文件

　　2、在二级HelloScrapy下创建runspider.py,填写如下代码：

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

　　框架的具体爬取流程正在学习中。。。。。。。。。。