scrapy常用一些命令行

Posted bigvase

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy常用一些命令行相关的知识,希望对你有一定的参考价值。

scrapy --help                              查看scrapy的基本帮助信息

scrapy --varsion                          查看版本信息

scrapy startproject xxx                创建一个新的工程

scrapy genspider xexe xxxx.xom         一个工程中可以有多个spider,genspider,就是在一个工程中创建多个爬虫,

首先在进入工程当中,然后运行命令,其中xexe是爬虫的名字,xxxx.com是所要爬取得网站

scrapy list                                   查看一个工程有多少个爬虫,同样是要先进入项目的根目录再运行命令

scrapy view url           查看页面源代码在浏览器中的样子,要先进入项目的根目录再运行命令

scrapy parse url                           在工程中使用固定的parse函数解析某个页面,要先进入项目的根目录再运行命令

scrapy runspider xxx.py               运行一个包含了所有逻辑代码的爬虫文件,xxx.py 爬虫文件                         

scrapy bench                               可以用来检测scrapy是否安装成功

 

以上是关于scrapy常用一些命令行的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy 1.4 文档 05 命令行工具

scrapy 怎样添加命令行参数

scrapy 怎样添加命令行参数

详解Scrapy的命令行工具

scrapy 命令行

scrapy1.0手册--01--命令行工具(Command line tools)