Scrapy 1.4 文档 05 命令行工具

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy 1.4 文档 05 命令行工具相关的知识,希望对你有一定的参考价值。

在系统命令行中,使用 scrapy 命令可以创建工程或启动爬虫,它控制着 Scrapy 的行为,我们称之为 Scrapy 命令行工具(command-line tool)或 Scrapy 工具(Scrapy tool)。紧跟在 scrapy 命令之后的命令属于子命令(我们称之为“命令(commands)”或“Scrapy命令(Scrapy commands)”,例如用于新建项目的 startproject 命令)。

Scrapy 工具包含许多命令,有各自的功能、参数和选项。

(scrapy deploy 命令已在1.0中删除,取而代之的是 scryd-deploy,请参阅 Deploying your project。)

配置设置

Scrapy 默认在 scrapy.cfg 文件中查找配置参数:

  1. 系统范围:/etc/scrapy.cfg 或 c:\scrapy\scrapy.cfg
  2. 用户范围:~/.config/scrapy.cfg ($XDG_CONFIG_HOME)  和  ~/.scrapy.cfg ($HOME)
  3. 项目内范围:scrapy.cfg

项目范围的设置将覆盖所有其他文件的设置,用户范围内定义的设置的覆盖系统范围内的设置。

Scrapy 也可以接受来自环境变量的配置。目前有:

Scrapy项目的默认结构

在深入了解命令行工具及其子命令之前,先来看一下 Scrapy 项目的目录结构。

虽然可以修改,但默认所有的 Scrapy 项目都具有相同的文件结构,与此类似:

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

scrapy.cfg 文件所在的目录称为项目根目录(project root directory)。 该文件中声明了项目设置所在的 python 模块。例如:

[settings]
default = myproject.settings

(myproject.settings 指 /myproject/settings.py)

使用 scrapy 工具

在没有参数的情况下直接运行 scrapy 命令将得到一些使用帮助和可用的命令,如下所示(X.Y 是版本号):

Scrapy X.Y - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  crawl         Run a spider
  fetch         Fetch a URL using the Scrapy downloader
[...]

如果是在某一 Scrapy 项目的根目录中,第一行将打印出当前项目的名称。 在上面的例子中,它是从项目外部运行的。如果从项目里面运行,它会打印出这样的东西:

Scrapy X.Y - project: myproject

Usage:
  scrapy <command> [options] [args]

[...]

创建项目

通常您使用 scrapy 工具的第一件事是创建您的 Scrapy 项目:

scrapy startproject myproject [project_dir]

这将在 project_dir 目录下创建一个 Scrapy 项目。如果没有指定 project_dir,将会在与 myproject 同名的目录中创建项目(如果没有则创建它)。

接下来,进入新建项目的根目录:

cd project_dir

现在,您已经准备好了使用 scrapy 命令来管理和控制您的项目。

管理项目

 在项目内(即在项目根目录下)您可以使用 scrapy 工具来控制和管理您的项目。

例如,新建一个爬虫:

scrapy genspider mydomain mydomain.com

一些 Scrapy 命令(如 crawl)必须在 Scrapy 项目内运行。 具体请参阅下一节:scrapy 工具中的命令。

一些命令在从项目内部运行时可能稍有不同。 例如,如果要获取的 URL 与某个特定的爬虫相关联,则 fetch 命令将使用爬虫重载的行为(例如爬虫的
user_agent 属性将覆盖默认的 user-agent)。 这是有意的,因为 fetch 命令旨在检查爬虫是怎样下载页面的。

scrapy 工具中的命令

本节介绍 Scrapy 的内置命令、说明和一些示例。 记住,您可以随时通过运行下面的命令来获取有关每个命令的更多信息:

scrapy <command> -h

您也通过下面的命令查看所有可用的命令:

scrapy -h

有两种命令,仅在 Scrapy 项目内工作的命令(项目命令:Project-specific commands)以及也可以在项目外工作的命令(全局命令:Global commands),尽管它们在项目内运行时可能会略有不同(此时会使用项目重载的设置)。

全局命令:

  • startproject
  • genspider
  • settings
  • runspider
  • shell
  • fetch
  • view
  • version

项目命令:

 

  • crawl
  • check
  • list
  • edit
  • parse
  • bench

 

startproject

  • 语法:scrapy startproject <project_name> [project_dir]
  • 必须在项目内使用:否

project_dir 目录下新建一个名为 project_name 的 Scrapy 项目。 如果没有指定 project_dirproject_dir 将与 myproject 同名。

示例:

$ scrapy startproject myproject

genspider

  • 语法:scrapy genspider [-t template] <name> <domain>
  • 必须在项目内使用:否

在当前文件夹或当前项目的 spiders 文件夹中新建一个爬虫。如果在项目中使用此命令。 <name> 参数为爬虫的名称,<domain> 用于生成 allowed_domainsstart_urls spider 的属性。

示例(template:模板):

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider example example.com
Created spider example using template basic

$ scrapy genspider -t crawl scrapyorg scrapy.org
Created spider scrapyorg using template crawl

这只是一个基于预定义模板创建爬虫的快捷命令,但不是创建爬虫的唯一方法。 您可以直接使用源代码编写爬虫,而不是使用此命令。

crawl

  • 语法:scrapy crawl <spider>
  • 必须在项目内使用:是

启动爬虫。

示例:

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

check

  • 语法:scrapy check [-l] <spider>
  • 必须在项目内使用:是

协议(contract)检查。

示例:

$ scrapy check -l
first_spider
  * parse
  * parse_item
second_spider
  * parse
  * parse_item

$ scrapy check
[FAILED] first_spider:parse_item
>>> RetailPricex field is missing

[FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4

list

  • 语法:scrapy list
  • 必须在项目内使用:是

列出项目中所有可用爬虫。

示例:

$ scrapy list
spider1
spider2

edit

  • 语法:scrapy edit <spider>
  • 必须在项目内使用:是

使用EDITOR环境变量或设置中定义的编辑器编辑爬虫。

该命令仅作为一种快捷方式提供,开发人员可以自由选择工具或IDE来编写和调试爬虫。

示例:

$ scrapy edit spider1

fetch

  • 语法:scrapy fetch <url>
  • 必须在项目内使用:否

使用 Scrapy 下载器下载给定的 URL,并将内容输出到标准输出流。

这个命令的有趣之处在于它会使用爬虫定义的方式下载页面。 例如,如果爬虫具有 USER_AGENT 属性覆盖了 User Agent,那么命令将使用爬虫里的属性。

所以这个命令可以用来查看爬虫如何获取某个页面。

在项目之外使用时只会使用默认的 Scrapy 下载器设置。

支持的选项:

  • --spider = SPIDER:强制使用给定的爬虫
  • --headers:打印 HTTP 响应头
  • --no-redirect:禁用 HTTP 3xx 重定向(默认启用)

示例:

$ scrapy fetch --nolog http://www.example.com/some/page.html
[ ... html content here ... ]

$ scrapy fetch --nolog --headers http://www.example.com/
{Accept-Ranges: [bytes],
 Age: [1263   ],
 Connection: [close     ],
 Content-Length: [596],
 Content-Type: [text/html; charset=UTF-8],
 Date: [Wed, 18 Aug 2010 23:59:46 GMT],
 Etag: ["573c1-254-48c9c87349680"],
 Last-Modified: [Fri, 30 Jul 2010 15:30:18 GMT],
 Server: [Apache/2.2.3 (CentOS)]}

view

  • 语法:scrapy view <url>
  • 必须在项目内使用:否

以 Scrapy 爬虫所“看到”的样子在浏览器中打开给定的URL。用来查看爬虫所“看到”的样子是否是你所期望的,因为两者有可能不同。

支持的选项:

  • --spider = SPIDER:强制使用给定的爬虫
  • --no-redirect:禁用 HTTP 3xx 重定向(默认启用)

示例:

$ scrapy view http://www.example.com/some/page.html
[ ... browser starts ... ]

shell

  • 语法:scrapy shell [url]
  • 必须在项目内使用:否

以给定的 URL(如果给定)启动 Scrapy shell。支持 UNIX 风格的本地文件路径,包括相对路径(./../)和绝对路径。请参阅 Scrapy shell 了解更多信息。

支持的选项:

  • --spider = SPIDER:强制使用给定的爬虫
  • -c code:在 shell 中执行代码,打印结果并退出
  • --no-redirect:禁用 HTTP 3xx 重定向(默认启用); 这只会影响您在命令行参数中给定的 URL;,一旦你进入到 shell 中,fetch(url) 将默认启用 HTTP 重定向。

示例:

$ scrapy shell http://www.example.com/some/page.html
[ ... scrapy shell starts ... ]

$ scrapy shell --nolog http://www.example.com/ -c (response.status, response.url)
(200, http://www.example.com/)

# 默认启用重定向
$ scrapy shell --nolog http://httpbin.org/redirect-to?url=http%3A%2F%2Fexample.com%2F -c (response.status, response.url)
(200, http://example.com/)

# 你可以通过 --no-redirect 禁用重定向
# (只作用于命令行参数中的 URL)
$ scrapy shell --no-redirect --nolog http://httpbin.org/redirect-to?url=http%3A%2F%2Fexample.com%2F -c (response.status, response.url)
(302, http://httpbin.org/redirect-to?url=http%3A%2F%2Fexample.com%2F)

parse

  • 语法:scrapy parse <url> [options]
  • 必须在项目内使用:是

 获取给定的 URL 并使用爬虫处理它的方式解析它,使用 --callback 选项传递解析方法,默认使用 parse 方法。

 支持的选项:

  • --spider = SPIDER:强制使用给定的爬虫
  • --a NAME = VALUE:设置爬虫参数(可能会重复)
  • --callback-c:解析响应对象的回调方法
  • --piplines:通过管道处理项
  • --rules-r:使用 CrawlSpider 规则查找用于解析响应对象的回调方法
  • --noitems:不显示抓取到的项
  • --nolinks:不显示提取的链接
  • --nocolour:避免使用pygments对输出着色
  • --depth-d:递归爬取的深度(默认值:1)
  • --verbose -v:显示爬取每一层的信息

示例:

$ scrapy parse http://www.example.com/ -c parse_item
[ ... scrapy log lines crawling example.com spider ... ]

>>> STATUS DEPTH LEVEL 1 <<<
# Scraped Items  ------------------------------------------------------------
[{name: uExample item,
 category: uFurniture,
 length: u12 cm}]

# Requests  -----------------------------------------------------------------
[]

settings

  • 语法:scrapy settings [options]
  • 必须在项目内使用:否

获取 Scrapy 设置。

如果在项目中使用它将显示项目的设置值,否则将显示 Scrapy 默认的设置。

示例:

$ scrapy settings --get BOT_NAME
scrapybot
$ scrapy settings --get DOWNLOAD_DELAY
0

runspider

  • 语法:scrapy runspider <spider_file.py>
  • 必须在项目内使用:否

运行一个独立的爬虫 Python 文件,无需创建一个项目。

示例:

$ scrapy runspider myspider.py
[ ... spider starts crawling ... ]

version

  • 语法:scrapy version [-v]
  • 必须在项目内使用:否

打印 Scrapy 版本。使用 -v 时还会打印出 Python,Twisted 和 Platform 的信息,这对错误报告很有用。

bench

  • 语法:scrapy bench
  • 必须在项目内使用:否

运行 benchmark 测试。

 自定义命令

您还可以使用 COMMANDS_MODULE 设置添加自定义项目命令。有关如何实现命令的示例,请参阅 scrapy commands

COMMANDS_MODULE

默认值:‘‘(空字符串)

用于查找自定义 Scrapy 命令的模块。用于为您的 Scrapy 项目添加自定义命令。

例:

COMMANDS_MODULE = mybot.commands

通过 setup.py 的 entry points 注册命令

注意

这是一个实验性功能,请谨慎使用。

您还可以在 setup.py 文件的 entry point 中添加 scrapy.commands,从外部库添加 Scrapy 命令。

以下示例添加了 my_command 命令:

from setuptools import setup, find_packages

setup(name=scrapy-mymodule,
  entry_points={
    scrapy.commands: [
      my_command=my_scrapy_module.commands:MyCommand,
    ],
  },
 )


以上是关于Scrapy 1.4 文档 05 命令行工具的主要内容,如果未能解决你的问题,请参考以下文章

Python -- Scrapy 命令行工具(command line tools)

scrapy 怎样添加命令行参数

Scrapy 1.4 文档 01 初窥 Scrapy

Scrapy 1.4 文档 04 例子

详解Scrapy的命令行工具

Scrapy命令行工具简介