Python爬虫进阶(Scrapy框架爬虫)

Posted 2020-10-23 HaoYu'

         准备工作：

          配置环境问题什么的我昨天已经写了，那么今天直接安装三个库

                       首先第一步：

                           (我们要用到scrapy框架，在python里调用windows 命令，使用mongodb存储爬到的数据 )

                                 进入DOS python/Script>路径下  输入命令：

                                        python/Script> pip install pypiwin32

                                        python/Script> pip install scrapy

                                        python/Script> pip install pymongo

                                 三个库下载完成后，打开DOS 输入命令：

                                       (将指令路径转到你需要创建爬虫项目文件的目录。例如：e:)

                                       e:\\>  scrapy startproject  projectFileName    ##创建一个scrapy框架的爬虫项目文件 ，名字为projectName

                                       (运行下一步之前需要将DOS的指令路径cd 到上一步操作创建的项目文件)

                                        scrapy genspider  projectName   Http:\\\\www.baidu.com   ##创建一个爬虫项目，这里后面网址随便填后面可以修改，但是这一项是必填项

                                  以上操作都完成后，打开Pycharm 打开我们事先用DOS创好的爬虫项目文件projectFileName

          开始编译：

               (我这里以爬贴吧的名字和类以及链接并最后自动存入mongodb为例)

以下为projectName.py的源代码

 #-*- coding: utf-8 -*-
import scrapy

from TieBa.items import TiebaItem    ##引用items里面的Tiebaltem，方便后面存储数据

class BaidutiebaSpider(scrapy.Spider):
            name = \'baidutieba\'

def start_requests(self):     ##定义一个start_requests方法
       header = {\'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0\'}        ##昨天已经解释了，模仿浏览器登录

       yield scrapy.Request(url=\'http://tieba.baidu.com/f/index/forumclass\', headers=header, meta={\'headers\': header}, callback=self.parse_class)     ##向目标页面发送请求，并用字典把headers存储起来，callback=跳转的下一个方法，self可以理解为c#里面的this

def parse_class(self, response):     ##这里的response是上个Request获取的目标网页的信息
      class_1s = response.xpath("//div[@class=\'clearfix\']/div[@class=\'class-item\']")     ##这里我们直接用xpath获取需要的属性
      for class_1 in class_1s:
            class_1_name = class_1.xpath("a/text()").extract()[0]           ##extract()提取信息，此方法返回值为一个list数组,虽然我们这里只有一个值但是也得取下标

           class_2s = class_1.xpath("ul/li")
           for class_2 in class_2s:
                 class_2_name = class_2.xpath("a/text()").extract()[0]
                 class_2_url = \'http://tieba.baidu.com\' + class_2.xpath("a/@href").extract()[0] + \'&pn=\'           ##给每个子网页加上前缀和页数的后缀
                  for page in range(30):
                        yield scrapy.Request(url=class_2_url + str(page + 1), headers=response.meta[\'headers\'], meta={\'headers\': response.meta[\'headers\'], \'class_1_name\': class_1_name, \'class_2_name\': class_2_name}, callback=self.parse)    ##与上一个方法类似，一样用字典储存一部分信息供下面使用
def parse(self, response):
      tiebas = response.xpath("//div[@id=\'ba_list\']/div")
      for tieba in tiebas:
            tieba_name = tieba.xpath("a/div/p[@class=\'ba_name\']/text()").extract()[0]
            tieba_url = \'http://tieba.baidu.com\' + tieba.xpath("a/@href").extract()[0]
            item = TiebaItem(class_1=response.meta[\'class_1_name\'], class_2=response.meta[\'class_2_name\'], name=tieba_name, url=tieba_url)
            yield item      ##提交item

以下为items.py的源代码

import scrapy

class TiebaItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    class_1 = scrapy.Field()  ##获取projectName.py里面传的字典属性值，以下参数同理
    class_2 = scrapy.Field()
    name = scrapy.Field()
    url = scrapy.Field()

以下为pipelines.py的源代码

import pymongo              ##因为要使用mongodb所以要引用pymongo

class TiebaPipeline(object):    ##此类名和setting里面的ITEM_PIPELINES下面的名字一致 ProjectFileName.pipelines.类名
    def open_spider(self,spider):   ##写一个open_apider开始爬虫的方法
        self.client = pymongo.MongoClient(\'mongodb://localhost:27017\')   ##连接mongodb，此处pymongo.MongoClient(\'mongodb://数据库连接\')

    def close_spider(self,spider):
        self.client.close()   ##写入完记得关闭
    def process_item(self, item, spider):
        self.client[\'TieBa\'][\'datas\'].insert(dict(item))  ##往TieBa数据库里的datas表插入从projectName.py里传过来的itme(字典化)的值

 以下为settings.py需要修改的部分代码

 ROBOTSTXT_OBEY = False   ##不遵从robots.txt里的Robot协议

 ITEM_PIPELINES = {    ##激活项目管道组件
   \'TieBa.pipelines.TiebaPipeline\': 300
 }
 最后写一个启动start.py来运行scrapy框架下写的projectName.py

import os
os.system(\'scrapy crawl baidutieba\')


到这里，此次爬虫的编码就结束了，打开mongodb就能看到我们爬到的数据了

 

若有改进方案，问题 欢迎留言讨论