爬虫框架之scrapy

Posted 2021-04-25 互联网it全栈

一. 新建项目(scrapy startproject)

• 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：

    scrapy startproject mukewang

• 其中， mukewang为项目名称，可以看到将会创建一个 mukewang文件夹，目录结构大致如下：

下面来简单介绍一下各个主要文件的作用：

scrapy.cfg ：项目的配置文件

mukewang/ ：项目的Python模块，将会从这里引用代码

mukewang/items.py ：项目的目标文件

mukewang/pipelines.py ：项目的管道文件

mukewang/settings.py ：项目的设置文件

mukewang/spiders/ ：存储爬虫代码目录

二、明确目标(mukewang/items.py)

我们打算抓取：http://www.imooc.com/course/list?c=fet网站里的所有课程的姓名、职称和个人信息。

1. 打开mukewang目录下的items.py

2. Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。

3. 可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。

4. 接下来，创建一个ItcastItem 类，和构建item模型（model）。

import scrapy

class MukewangItem(scrapy.Item):

   #课程标题

   title = scrapy.Field()

   #课程详情

   url = scrapy.Field()

   #课程观看人数

   image_url = scrapy.Field()

   #课程级别

   introduction = scrapy.Field()

   #课程标签

   student = scrapy.Field()

三、制作爬虫 （spiders/MukeSpider.py）

• 在当前目录下输入命令，将在mukewang/spider目录下创建一个名为muke的爬虫，并指定爬取域的范围：

scrapy genspider muke"muke.cn"

• 打开 mukewang/spider目录里的 muke.py，默认增加了下列代码:

# -*- coding: utf-8 -*-

import scrapy

from mukewang.items import MukewangItem

class MukeSpider(scrapy.Spider):

       # 设置name

       name = 'muke'

       allowed_domains = ['imooc.com']

       #爬取前端第一页课程

       start_urls = ['http://www.imooc.com/course/list?c=fe']

       # 编写爬取方法

       def parse(self, response):

           with open("muke.html","wb") as f:

               f.write(response.body)

           # 实例一个容器保存爬取的信息

           item = MukewangItem()

           # 这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定

           # 先获取每个课程的div

           for box in response.xpath('//ul[@class="clearfix"]/div[@class="course-card-container"]'):

               # # 获取课程标题

               item['title'] = box.xpath('.//h3[@class="course-card-name"]/text()').extract()

               # # 获取课程详解

               item['url'] = box.xpath('.//div[@class="clearfix course-card-bottom"]/p[@class="course-card-desc"]/text()').extract()

               # # 获取课程阅读人数

               item['image_url'] = box.xpath('.//div[@class="clearfix course-card-bottom"]/div[@class="course-card-info"]/span[2]/text()').extract()

               # #获取课程难易程度

               item['introduction'] = box.xpath('.//div[@class="clearfix course-card-bottom"]/div[@class="course-card-info"]/span[1]/text()').extract()

               # #获取课程标签

               item['student'] = box.xpath('.//div[ @class ="course-card-top"]/div[@class ="course-label"]/label/text()').extract()

               yield item

其实也可以由我们自行创建muke.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦

要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。

• name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。

• allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

• start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

• parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：

1. 负责解析返回的网页数据(response.body)，提取结构化数据(生成item)

2. 生成需要下一页的URL请求。

scrapy crawl muke

运行之后，如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。