Python-Scrapy创建第一个项目

Posted 追忆丶年华

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python-Scrapy创建第一个项目相关的知识,希望对你有一定的参考价值。

创建项目

在开始爬取之前,您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:

scrapy startproject tutorial
  • 1

该命令行将会创建包含下列内容的tutorial目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

这些文件分别是:

  • scrapy.cfg:项目的配置文件
  • tutorial:该项目的python模块。之后您将在此加入代码。
  • tutorial/items.py:项目中的item文件。
  • tutorial/pipelines.py:项目中的pipelines文件。
  • tutorial/spiders/:放置spider代码的目录。

定义Item 
Item是保存爬取到的数据的容器:其使用方法和python字典类似,并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。 
类似在ORM中做的一样,你可以通过创建一个scrapy.Item类,并且定义类型为scrapy.Field的类属性来定义一个Item。 
首先根据需要从dmoz.org获取到的数据对item进行建模。我们需要从dmoz中获取名字,url,以及网站的描述。对此,在item中定义相应的字段。编辑tutorial目录中的items.py文件:

import scrapy

class DmozItem(scrapy.Item):
    title=scrapy.Field()
    link=scrapy.Field()
    desc=scrapy.Field()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

一开始这看起来可能有点复杂,但是通过定义item,您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item定义

编写第一个爬虫(Spider) 
Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。 
其包含了一个用于下载的初始url,如何跟进网页中的链接以及如何分析页面中的内容,提取生成item的方法。 
为了创建一个Spider,您必须继承scrapy.Spider类,且定义以下三个属性:

  • name:用于区别Spider。改名字必须是唯一的,您不可以为不同的Spider设定相同的名字。
  • start_urls:包含了Spider在启动时进行爬取的url列表。因此,第一个被获取的页面给将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
  • parse():是spider的一个方法。被调用时,每个初始url完成下载后生成的Response对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的Request对象。

    以下为我们第一个Spider代码,保存在tutorial/spiders目录下的dmoz_spider.py文件中:

import scrapy

class DmozSplider(scray.spiders.Spider):
    name="dmoz"
    allowed_domain=["dmoz.org"]
    start_urls=[
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self,response):
        filename=response.url.split("/")[-2]
        with open(file,"wb") as f:
            f.write(response.body)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

爬取 
进入项目的根目录,执行下列命令启动spider:

scrapy crawl dmoz
  • 1

crawl dmoz 启动用于爬取dmoz.org的spider,您将得到类似的输出:

2014-01-23 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2014-01-23 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2014-01-23 18:13:07-0400 [dmoz] INFO: Spider opened
2014-01-23 18:13:08-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2014-01-23 18:13:09-0400 [dmoz] INFO: Closing spider (finished)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

查看包含dmoz的输出,可以看到输出的log中包含定义在start_urls的初始url,并且与splider中是一一对应的。在log中可以看到其没有指向其他页面(referer:None

除此之外,更有趣的事情发生了。就像我们parse方法指定的那样,这两个包含url所对应的内容的文件被创建了:Book,Resources。

刚才发生了什么 
Scrapy为Spider的start_urls属性中的每个url创建了scrapy.Request对象,并将parse()方法作为回调函数(callback)赋值给了Request

Request对象进过调度,执行生成scrapy.http.Response对象并送回给Spiderparse()方法

以上是关于Python-Scrapy创建第一个项目的主要内容,如果未能解决你的问题,请参考以下文章

Python-Scrapy框架

使用 python-Scrapy 抓取动态内容

Python-Scrapy框架安装

python-scrapy的编码问题

微信小程序代码片段

第一个片段替换为第二个片段后,如何打开导航抽屉