Python爬虫之Scrapy框架结构

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫之Scrapy框架结构相关的知识,希望对你有一定的参考价值。

Scrapy项目结构

 

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

文件介绍:
  • scrapy.cfg:项目的配置文件
  • myproject/:项目的Python模块,将会从这里引用代码
  • myproject/items.py:项目的目标文件
  • myproject/pipelines.py:项目的管道文件
  • myproject/settings:项目的设置文件
  • myproject/spiders/:存储爬虫代码目录

 

项目步骤

一、明确目标

  1. 打开items.py文件
  2. items中定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,提供了一些额外的保护减少错误
  3. 可以通过创建一个scrapy.Item类,并且定义类型为scrapy.Field的类属性来定义一个Item
  4. 接下来,创建一个自定义Item子类,和构建item模型

例如:

import scrapy

class BeautyItem(scrapy.Item):
    name = scrapy.Field()
    age = scrapy.Field()
    img = scrapy.Field()

 

二、制作爬虫

  • 在当前目录下输入命令
scrapy genspider spider_name "allowed_domains"

  将在myproject/spiders/目录下创建一个名为‘spider_name‘的爬虫文件,并制定爬虫域的范围(allowed_domains,用于限定爬取的数据来源不超过这个域名范围)

  • 打开该目录下的spider_name.py文件,默认增加了下列代码:
import scrapy

class Spider_name(scrapy.Spider):

    name = "spider_name"
    allowed_domains = ["allowed_domains"]
    start_urls = [http://www.allowed_domains]

    def parse(self, response):
        pass

  其实也可以由我们自行创建爬虫文件并编写上面的代码,只不过使用命令可以免去编写固定代码的麻烦

  要创建一个Spider,你必须用scrapy.Spider类创建一个子类,并确定了两个强制的属性和一个方法

  • name = "" :爬虫的识别名称,必须是唯一的,不同的爬虫必须定义不同的名称
  • allowed_domains = [] :是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略(非必要属性)
  • start_urls = [] :爬取的url列表。爬虫从这里开始爬取数据,所以第一此下载的数据将会从这些urls开始,其他子URL将会从起始URL继承性生成
  • parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:
  1. 负责解析返回的网页数据(response.body),提取结构化数据(生成item)
  2. 生成需要下一页的URL请求

 

保存数据

scrapy保存信息的最简单的方法主要有四种,-o输出指定格式的文件,命令如下:

 

# json格式
scrapy crawl spider_name -o file_name.json

# json line格式
scrapy crawl spider_name -o file_name.jsonl

# csv逗号表达式,可用excel打开
scrapy crawl spider_name -o file_name.csv

# xml格式
scrapy crawl spider_name -o file_name.xml

 

 

 

Item Pipelines

当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。

每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃还是存储。以下是Item Pipeline的一些典型应用:

  • 验证爬取的数据(检查item包含某些字段,比方说name字段)
  • 查重(并丢弃)
  • 将爬取结果保存到文件或数据库中

  

编写Item pipeline很简单,item pipeline组件是一个独立的Python类,其中process_item()方法必须实现

import something

class somethingPipeline(Object):
    
    def __init__(self):
        # 可选实现,做参数初始化(如打开保存目录文件)等
        # do something

    def process_item(self, item, spider):
        # item(Item对象) - 被爬取的item
        # spider(Spider对象) - 爬取该item的spider
        # 这个方法必须实现,每个item pipeline组件都需要调用该方法
        # 必须返回一个Item对象,被丢弃的item将不会被之后的pipeline组件锁处理
        return item

    def open_spider(self, spider):
        # spider(Spider对象) - 被开启的spider
        # 可选实现,当spider被开启时被调用

    def close_spider(self, spider):
        # spider(spider对象) - 被关闭的spider
        # 可选实现,当spider被关闭时被调用

 

 



以上是关于Python爬虫之Scrapy框架结构的主要内容,如果未能解决你的问题,请参考以下文章

走近代码之Python--爬虫框架Scrapy

Python编程基础之(五)Scrapy爬虫框架

scrapy按顺序启动多个爬虫代码片段(python3)

scrapy主动退出爬虫的代码片段(python3)

python爬虫之Scrapy框架

python爬虫之scrapy框架