手把手教你如何新建scrapy爬虫框架的第一个项目(下)

Posted Python爬虫与数据挖掘

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了手把手教你如何新建scrapy爬虫框架的第一个项目(下)相关的知识,希望对你有一定的参考价值。

回复“书籍”即可获赠Python从入门到进阶共10本电子书

你若盛开,清风自来。

  前几天小编带大家学会了如何,今天我们进一步深入的了解Scrapy爬虫项目创建,这里以伯乐在线网站的所有文章页为例进行说明。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  在我们创建好Scrapy爬虫项目之后,会得到上图中的提示,大意是让我们直接根据模板进行创建Scrapy项目。根据提示,我们首先运行“cd article”命令,意思是打开或者进入到article文件夹下,尔后执行命令“scrapy genspider jobbole blog.jobbole.com”,代表通过Scrapy中自带的basic模板进行创建Scrapy项目,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  根据提示,该模板创建的位置为article.spiders.jobbole,此时再次输入tree /f命令可以查看到除了之前创建Scrapy爬虫项目的基础文件之外,在spiders文件夹下确实是多了一个jobbole.py文件,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  当然了,爬虫模板不一定非得用Scrapy爬虫项目自带的模板,也可以自定义的进行创建,但是基本上Scrapy提供的模板是足够使用的了。

  接下来,将整个爬虫项目导入到Pycharm中去,点击左上方“fileàopen”,找到爬虫项目创建的文件夹,点击确认即可。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  如果在Pycharm中的spiders文件夹下看不到jobbole.py这个文件的话,则先选中spiders文件夹,尔后右键,点击“Synchronize spider”,代表与spiders文件夹进行同步的意思,尔后便可以看到jobbole.py就会被加载出来。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  点击jobbole.py文件进行查看内容,如下图所示。可以看到该文件已经默认的填充了部分Python代码,其实是从源模板中进行复制创建的。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  可以看到该文件中有当前Scrapy爬虫项目的名字nameScrapy爬虫项目所允许的域名范围allowed_domains,以及Scrapy爬虫项目的起始URL,即start_urls

  接下来最后检查一下该项目的Python解释器,点击Pycharmsetting,然后输入“interpreter”,找到解释器所在的位置,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  如果“Project Interpreter”显示出来的解释器不是当前项目下的虚拟环境,则点击“Project Interpreter”的右侧的设置按钮,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  然后点击“Add local”,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  找到该项目对应的虚拟环境Python解释器,进行添加即可,如下图所示。

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

  至此,Scrapy爬虫虚拟环境创建、Scrapy爬虫项目的创建以及Scrapy爬虫项目导入到Pycharm中以及解释器的配置已经完成,接下来我们要开始写入爬虫逻辑,以及数据提取等,敬请期待~~

  对爬虫感兴趣的小伙伴,欢迎来Github:https://github.com/cassieeric,喜欢的话记得给个star噢~~


--------------------- End ---------------------

往期精彩文章推荐:





看完本文有收获?请转发分享给更多的人

看完本文有收获?请转发分享给更多的人

Python爬虫与数据挖掘

入群请在微信后台回复【学习】

Python、网络爬虫 、书籍、数据分析、机器学习、数据结构、

大数据、服务器、Spark、Redis、C++、C、php

mysql、java、android、面试题、课堂、其他

老表说

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持。

做知识的传播者,随手转发,Python进阶者与您同行

以上是关于手把手教你如何新建scrapy爬虫框架的第一个项目(下)的主要内容,如果未能解决你的问题,请参考以下文章

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

手把手教你如何新建scrapy爬虫框架的第一个项目(上)

在Scrapy中如何利用Xpath选择器从HTML中提取目标信息(两种方式)

手把手教你写网络爬虫:开源爬虫框架对比

Python架构师手把手教你Scrapy 对接 Docker

Python爬虫之Scrapy框架系列——创建并运行你的第一个Scrapy demo项目