爬虫日记(72):Scrapy安装程序入口点分析

Posted caimouse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(72):Scrapy安装程序入口点分析相关的知识,希望对你有一定的参考价值。

从这里开始,我们开始进入一个Scrapy框架源码分析的学习过程,为什么要学习它的源码呢?这是因为这个框架的源码设计非常优秀,也是我们学习开发python程序的模范,也是我们学习python技术的一所大学,同时也可以加深我们对开发爬虫的了解。不过,这个过程比较漫长,可能还比较费脑,也许还学不会它。这些都不重要,重要是我们要开始行动,一步一步研究它,就可以达到成功彼岸。

 

先从哪里开始呢?这是一个好问题,因为没有目标就没有办法向前,盲目地行动也是没有结果的。其实,我们可以这样想,每次我们运行爬虫时,都会使用下面的命令:

scrapy crawl quotes

然后整个爬虫程序就进入运行状态了,开始从网站下载数据,并经过筛选,剩下需要的内容进入到管道里得以保存成文件。在这个命令行里,第一个scrapy命令是怎么样运行起来,又是放置在哪个位置上呢?了解这两个知识点对于我们制作安装程序和部署python都有比较好的优势的,因为这里命令行不需要输入python在前面,这样节省了输入的字符,方便了用户。

 

接着下来,可以看到运行命令行时scrapy是放在目录:

以上是关于爬虫日记(72):Scrapy安装程序入口点分析的主要内容,如果未能解决你的问题,请参考以下文章

爬虫日记(74):Scrapy项目配置参数源码分析

爬虫日记(78):Scrapy的命令运行入口点

爬虫日记(76):Scrapy的命令行源码分析三

爬虫日记(75):Scrapy的Settings源码分析

爬虫日记(63):Scrapy的设置参数-日志

爬虫日记(64):Scrapy的设置参数-统计分析