Scrapy 1.4 文档 01 初窥 Scrapy

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy 1.4 文档 01 初窥 Scrapy相关的知识,希望对你有一定的参考价值。

初窥 Scrapy

Scrapy 是用于抓取网站并提取结构化数据的应用程序框架,其应用非常广泛,如数据挖掘,信息处理或历史存档。

尽管 Scrapy 最初设计用于网络数据采集(web scraping),但它也可用于使用 API(如 Amazon Associates Web Services)提取数据或用作通用的网络爬虫。

爬虫(spider)示例

为了向您展示 Scrapy 带给您的是什么,我们将使用最简单的方式运行一个爬虫,向您展示一个 Scrape Spider 的例子。

这是一个爬虫的代码,用于从网站 http://quotes.toscrape.com 中抓取名人名言(famous quotes):

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        http://quotes.toscrape.com/tag/humor/,
    ]

    def parse(self, response):
        for quote in response.css(div.quote):
            yield {
                text: quote.css(span.text::text).extract_first(),
                author: quote.xpath(span/small/text()).extract_first(),
            }

        next_page = response.css(li.next a::attr("href")).extract_first()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

将其放在一个文本文件中,并将其命名为 quotes_spider.py,使用 runspider 命令启动爬虫:

scrapy runspider quotes_spider.py -o quotes.json

运行完成后,您将在 quotes.json 文件中看到 JSON 格式化的名人名言列表,包括文本和作者,如下所示(为了获得更好的可读性,在这里重新排版了一下):

[{
    "author": "Jane Austen",
    "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
},
{
    "author": "Groucho Marx",
    "text": "\u201cOutside of a dog, a book is man‘s best friend. Inside of a dog it‘s too dark to read.\u201d"
},
{
    "author": "Steve Martin",
    "text": "\u201cA day without sunshine is like, you know, night.\u201d"
},
...]

刚刚发生了什么?

当您运行命令 scrapy runspider quotes_spider.py 时,Scrapy 查找其中的 Spider 定义,并通过抓取引擎运行它。

通过对 start_urls 属性中定义的 URL(在里,只有一个URL,为标签(tag)为幽默(humor)的名言)发起请求(making requests)启动爬虫,并调用默认的回调方法 parse,参数为响应对象(response)。在 parse 回调方法中,我们使用 CSS 选择器循环遍历名言(quote)所在的元素,产生(yield)一个包含名人名言的 Python 字典,然后查找下一页的链接,并使用同样的回调方法 parse 发起另一个请求。

在这里,您或许注意到了 Scrapy 的主要优点之一:请求和处理是异步的。 这意味着 Scrapy 不需要等待一个请求返回的结果被处理完毕,就可以在此期间发起另一个请求或执行其他操作。 这也意味着即使某些请求失败了或在处理它时发生错误,其他请求仍然可以继续进行。

虽然这样可以使您进行非常快速的抓取(以容错方式同时发起多个请求),Scrapy 也可以让您通过一些设置来控制爬网的速度。 您可以在每个请求之间设置下载延迟,限制每个域或每个 IP 的并发请求数量,甚至使用自动调节扩展来自动计算这些延迟。

注意

这里使用了 feed exports 来生成 JSON 文件,您可以轻松地更改导出格式(例如,XML 或 CSV)和存储后台(例如,FTP 或 Amazon S3)。您还可以编写一个项目管道(item pipeline)以将项目存储在数据库中。

还有什么?

您已经看到如何使用 Scrapy 从网站中提取和存储数据,但这只是表面的。Scrapy 提供了许多强大的功能使爬取更容易高效,如:

  • 内置支持使用扩展的 CSS 选择器和 XPath 表达式从 html/XML 源代码中选择和提取数据,支持正则表达式。
  • 交互式 shell 控制台(IPython aware)用于尝试 CSS 和 XPath 表达式来抓取数据,在编写或调试您的爬虫时非常有用。
  • 内置支持以多种格式(JSON,CSV,XML)生成 feed exports,并将其存储在多种后端(FTP,S3,本地文件系统)
  • 强大的编码支持和自动检测功能,用于处理多种语言的,非标准的和错误的编码声明。
  • 强大的可扩展性,允许您使用信号(signals)和良好定义的API(中间件,扩展和管道)插入自己的功能。
  • 广泛的内置扩展和中间件处理:
    • Cookie 和会话处理
    • HTTP 功能,如压缩,身份验证,缓存
    • 用户代理欺骗
    • robots.txt
    • 爬取深度限制
    • 和更多
  • 一个 Telnet 控制台,用于挂接到 Scrapy 所在的的 Python 控制台,以便检查并调试您的爬虫
  • 还有其他好处诸如:可复用的从网站地图和 XML/CSV 文件中抓取网站的爬虫,自动下载与被抓取项目相关的图像(或任何其他多媒体)的媒体管道,可缓存的DNS解析器等等!

下一步是什么?

接下来的步骤是安装 Scrapy,根据教程创建一个完整的 Scrapy 工程并加入社区。 感谢您的关注!

以上是关于Scrapy 1.4 文档 01 初窥 Scrapy的主要内容,如果未能解决你的问题,请参考以下文章

Python笔记——初窥Scrapy

Scrapy 1.4 文档 05 命令行工具

Scrapy 1.4 文档 03 Scrapy 教程

Scrapy 1.4 文档 04 例子

scrap框架

分布式爬虫:使用Scrapy抓取数据