手把手教你如何新建scrapy爬虫框架的第一个项目（上）

Posted 2021-04-25 Python爬虫与数据挖掘

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

海上生明月，天涯共此时。

  前几天给大家分享了，还有，感兴趣的小伙伴可以戳链接进去查看。关于，之前也在文章中提及过，今天小编带大家进入Scrapy爬虫框架，创建Scrapy爬虫框架的第一个项目，具体过程如下所示。

1、进入虚拟环境，不知道进入的环境的小伙伴可以戳这篇文章：在Windows下如何和在Windows下。进入到环境之后可以通过“pip list”命令查看Scrapy是否安装成功，如下图所示。

可以看到Scrapy已经安装成功。

2、这里小编欲将Scrapy项目放到demo文件夹下，所以先退回到上级目录中去，如下图所示。

3、尔后开始新建Scrapy项目，输入创建Scrapy爬虫项目命令“scrapy startproject article”，其中article是爬虫项目的名称，可以自行更改的。输入创建命令之后，稍等片刻，系统会根据模板进行创建项目，模板所在的目录是“D:\pythonDemo\2018\September\demo\scrapy_demo\Lib\site-packages\scrapy\templates\project”，与你的爬虫环境相关，如下图所示，等待项目创建完成。当然我们可以自定义爬虫模板，不过目前来看，Scrapy爬虫框架提供的模板够我们用的了，我们能把Scrapy搞明白也就可以了。

4、根据上图提示，首先进入到article文件夹下，输入命令“cd article”，之后通过“dir”查看目录，也可以通过“tree /f”生成文件目录的树形结构，如下图所示，可以很清晰的看到Scrapy创建命令生成的文件。

顶层的article文件夹是项目名。

第二层中包含的是一个与项目名同名的文件夹article和一个文件scrapy.cfg，这个与项目同名的文件夹article是一个模块，所有的项目代码都在这个模块内添加，而scrapy.cfg文件是整个Scrapy项目的配置文件

第三层中有5个文件和一个文件夹，其中__init__.py是个空文件，作用是将其上级目录变成一个模块；items.py是定义储对象的文件，决定爬取哪些项目；middlewares.py文件是中间件，一般不用进行修改，主要负责相关组件之间的请求与响应；pipelines.py是管道文件，决定爬取后的数据如何进行处理和存储；settings.py是项目的设置文件，设置项目管道数据的处理方法、爬虫频率、表名等；spiders文件夹中放置的是爬虫主体文件（用于实现爬虫逻辑）和一个__init__.py空文件。

5、在Windows文件夹下也可以很清晰的看到新建的Scrapy文件，如下图所示。

6、当然，也可以通过Pycharm导入项目的方式进行查看项目文件，此时更加的清晰，如下图所示。

7、点击各个项目文件，可以查看其中的内容，其中settings.py文件的内容如下图所示，其他的文件内容在此就不再赘述了。

至此，第一个Scrapy爬虫项目的创建及Scrapy爬虫项目中的文件解析介绍就先到这里了，下一步开始进行Scrapy爬虫项目的进阶内容，敬请期待~~

--------------------- End ---------------------

往期精彩文章推荐：

• 
  

• 
  

• 
  

看完本文有收获？请转发分享给更多的人

看完本文有收获？请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【学习】

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php、

mysql、java、android、面试题、课堂、其他

老表说

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持。

做知识的传播者，随手转发，Python进阶者与您同行