scrapy常用一些命令行
Posted bigvase
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy常用一些命令行相关的知识,希望对你有一定的参考价值。
scrapy --help 查看scrapy的基本帮助信息
scrapy --varsion 查看版本信息
scrapy startproject xxx 创建一个新的工程
scrapy genspider xexe xxxx.xom 一个工程中可以有多个spider,genspider,就是在一个工程中创建多个爬虫,
首先在进入工程当中,然后运行命令,其中xexe是爬虫的名字,xxxx.com是所要爬取得网站
scrapy list 查看一个工程有多少个爬虫,同样是要先进入项目的根目录再运行命令
scrapy view url 查看页面源代码在浏览器中的样子,要先进入项目的根目录再运行命令
scrapy parse url 在工程中使用固定的parse函数解析某个页面,要先进入项目的根目录再运行命令
scrapy runspider xxx.py 运行一个包含了所有逻辑代码的爬虫文件,xxx.py 爬虫文件
scrapy bench 可以用来检测scrapy是否安装成功
以上是关于scrapy常用一些命令行的主要内容,如果未能解决你的问题,请参考以下文章