Scarpy 命令行工具

Posted guozepingboke

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scarpy 命令行工具相关的知识,希望对你有一定的参考价值。

Scarpy 命令行工具

一、Scarpy 全局命令

  scrapy startproject project_name     (创建项目)

  scrapy crawl xx     (运行xxspider文件)

  scrapy shell http://www.scrapyd.cn    (调试网址为http:www.scrapyd.cn的网站),

  全局命令有如下几个:

startproject

genspider

settings

runspider

shell

fetch

view

version

二、Scarpy 项目命令

文件夹,按住shift,然后右键就会出现:在命令行打开

  1. crawl
  2. check
  3. list
  4. edit
  5. parse
  6. bench

1、crawl:运行蜘蛛

例:我们要运行name = scrapyd_cn的蜘蛛,我们可以这样:

scrapy crawl scrapyd_cn

2、check:检查蜘蛛

3、list:显示有多少个蜘蛛

这里的蜘蛛就是指spider文件夹下面xx.py文件中定义的name,你有10个py文件但是只有一个定义了蜘蛛的name,那只算一个蜘蛛,比如我们在:AoiSolas目录下运行这个命令:

scrapy list

得到的结果是:

F:\ScrapyProject\AoiSolas (master -> origin)
 # scrapy list
AoiSola

这就是它的使用方法,我们可以来看一下AoiSolas的文件结构:

以上是关于Scarpy 命令行工具的主要内容,如果未能解决你的问题,请参考以下文章

Scrapyd 使用详解

优秀的Scrapy爬虫框架常用工具命令

pycharm基础操作之关于包的安装问题

pycharm基础操作之关于包的安装问题

爬虫之Scarpy.Request

linux打开终端如何启动scala,如何在终端下运行Scala代码片段?