PythonScrapy入门实例

Posted 2020-08-01

Scrapy

Scrapy是一个使用Python编写的轻量级网络爬虫，使用起来非常的方便。Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下：

创建一个Scrapy项目

S-57格式是国际海事组织（IMO）颁布的电子海图标准，本身是一种矢量海图。这些标准都公布在http://www.s-57.com/上。以该网页为抓取对象，进入存储代码的目录中，运行下列命令，创建项目 crawls57:

scrapy startproject crawls57

该命令将会创建包含下列内容的 crawls57 目录:

crawls57/
    scrapy.cfg
    crawls57/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• crawls57/: 该项目的python模块。之后您将在此加入代码。
• crawls57/items.py: 项目中的item文件.
• crawls57/pipelines.py: 项目中的pipelines文件.
• crawls57/settings.py: 项目的设置文件.
• crawls57/spiders/: 放置spider代码的目录.

定义Item

Item 是保存爬取到的数据的容器。在www.s-57.com的网页上，数据分为左右两部分，左边是航标对象的信息，右边是航标属性的信息。右边的数据较多，所以我们主要抓取左边，即航标对象的一些数据：

import scrapy

class Crawls57Item(scrapy.Item):
    Object = scrapy.Field()
    Acronym = scrapy.Field()
    Code = scrapy.Field()
    Primitives = scrapy.Field()
    Attribute_A = scrapy.Field()
    Attribute_B = scrapy.Field()
    Attribute_C = scrapy.Field()
    Definition = scrapy.Field()
    References_INT = scrapy.Field()
    References_S4 = scrapy.Field()
    Remarks = scrapy.Field()
    Distinction = scrapy.Field()

编写爬虫

有了定义的Item，就可以编写爬虫Spider开始抓取数据。

可以直接通过命令行的方式，创建一个新的Spider:

scrapy genspider s-57 s-57.com

此时，在spiders文件夹里会生成一个 s-57.py 文件。下面我们则需要对该文件进行编辑。

根据网站s-57的结构，抓取的过程主要有两步：

1. 抓取航标对象的名称、缩略号、ID等信息；
2. 提取每一个航标对象的网页地址，抓取它的详细信息。

s-57.py 里默认有 parse() 方法，可以返回 Request 或者 items。每次运行爬虫， parse() 方法都会被调用。返回的 Request 对象接受一个参数 callback，指定 callback 为一个新的方法，就可以反复调用这个新的方法。所以，通过返回 Request 即可实现对网站的递归抓取。根据上述要求的抓取过程，可创建方法 parse_dir_contents() ，被 parse() 调用抓取航标对象的详细信息，编辑代码如下。

import scrapy
from crawls57.items import Crawls57Item
import re


class S57Spider(scrapy.Spider):
    name = "s-57"
    allowed_domains = ["s-57.com"]
    start_urls = [
        "http://www.s-57.com/titleO.htm",
    ]
    data_code={}
    data_obj={}

    def parse(self, response):
        for obj in response.xpath(‘//select[@name="Title"]/option‘):
            obj_name = obj.xpath(‘text()‘).extract()[0]
            obj_value = obj.xpath(‘@value‘).extract()[0]
            self.data_obj[obj_value] = obj_name

        for acr in response.xpath(‘//select[@name="Acronym"]/option‘):
            acr_name = acr.xpath(‘text()‘).extract()[0]
            acr_value = acr.xpath(‘@value‘).extract()[0]
            self.data_code[acr_name] = acr_value
            url = u‘http://www.s-57.com/Object.asp?nameAcr=‘+acr_name
            yield scrapy.Request(url, callback=self.parse_dir_contents)
            

    def parse_dir_contents(self, response):
        
        acr_name = response.url.split(‘=‘)[-1]
        acr_value = str(self.data_code[acr_name])
        obj_name = self.data_obj[acr_value]
        
        for sel in response.xpath(‘//html/body/dl‘):
            item = Crawls57Item()
            item[‘Object‘] = obj_name
            item[‘Acronym‘] = acr_name
            item[‘Code‘] = acr_value
            item[‘Primitives‘] = sel.xpath(‘b/text()‘).extract()

            #Atrribute ABC
            atainfo = u‘‘
            apath = sel.xpath(‘.//tr[1]/td[2]/b‘)
            for ata in apath.xpath(‘.//span‘):
                atainfo += ata.re(‘>(\\w+)<‘)[0]+"; "
            item[‘Attribute_A‘] = atainfo
            atbinfo = u‘‘
            bpath = sel.xpath(‘.//tr[2]/td[2]/b‘)
            for atb in bpath.xpath(‘.//span‘):
                atbinfo += atb.re(‘>(\\w+)<‘)[0]+"; "
            item[‘Attribute_B‘] = atbinfo
            atcinfo = u‘‘
            cpath = sel.xpath(‘.//tr[3]/td[2]/b‘)
            for atc in cpath.xpath(‘.//span‘):
                atcinfo += atc.re(‘>(\\w+)<‘)[0]+"; "
            item[‘Attribute_C‘] = atcinfo

            #Description
            i = 0
            for dec in sel.xpath(‘.//dl/dd‘):
                i += 1
                dt = ‘.//dl/dt[‘ + str(i) + ‘]/b/text()‘
                dd = ‘.//dl/dd[‘ + str(i) + ‘]/font/text()‘
                if (sel.xpath(dt).extract()[0] == ‘References‘):
                    item[‘References_INT‘] = sel.xpath(‘.//tr[1]/td[2]/font/text()‘).extract()[0]
                    item[‘References_S4‘] = sel.xpath(‘.//tr[2]/td[2]/font/text()‘).extract()[0]
                if (len(sel.xpath(dd).extract()) == 0):
                    continue
                if (sel.xpath(dt).extract()[0] == ‘Definition‘):
                    ss = ‘‘
                    for defi in sel.xpath(dd).extract():
                        ss += defi
                    item[‘Definition‘] = ss
                if (sel.xpath(dt).extract()[0] == ‘Remarks:‘):
                    item[‘Remarks‘] = sel.xpath(dd).extract()[0]
                if (sel.xpath(dt).extract()[0] == ‘Distinction:‘):
                    item[‘Distinction‘] = sel.xpath(dd).extract()[0]

            yield item

相比正则表达式，用xpath抓取数据要方便许多。但是，用的时候还是免不了反复调试。Scrapy提供了一个shell环境用于调试response的命令，基本语法：

scrapy shell [url]

之后，就可以直接输入response.xpath(‘...‘)调试抓取的数据。

爬取

进入项目的根目录，执行下列命令启动Spider:

scrapy crawl crawls57 -o data.json

最终，抓取的数据被存储在 data.json 中。