爬虫之三种解析方式

Posted xinjie123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫之三种解析方式相关的知识,希望对你有一定的参考价值。

数据解析的原理

  1.实现标签的定位

  2.将标签中的存储的文本内容或者相关的属性值进行提取

正则

单字符:
        . : 除换行以外所有字符
        [] :[aoe] [a-w] 匹配集合中任意一个字符
        \d :数字  [0-9]
        \D : 非数字
        \w :数字、字母、下划线、中文
        \W : 非\w
        \s :所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
        \S : 非空白
    数量修饰:
        * : 任意多次  >=0
        + : 至少1次   >=1
        ? : 可有可无  0次或者1次
        {m} :固定m次 hello{3,}
        {m,} :至少m次
        {m,n} :m-n次
    边界:
        $ : 以某某结尾 
        ^ : 以某某开头
    分组:
        (ab)  
    贪婪模式: .*
    非贪婪(惰性)模式: .*?

    re.I : 忽略大小写
    re.M :多行匹配
    re.S :单行匹配

    re.sub(正则表达式, 替换内容, 字符串)

正则回顾  

 

爬虫练习之爬取糗事百科

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import re
import os
if __name__ == "__main__":
     url = ‘https://www.qiushibaike.com/pic/%s/‘
     headers={
         ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/69.0.3497.100 Safari/537.36‘,
     }
     #指定起始也结束页码
     page_start = int(input(‘enter start page:‘))
     page_end = int(input(‘enter end page:‘))

     #创建文件夹
     if not os.path.exists(‘images‘):
         os.mkdir(‘images‘)
     #循环解析且下载指定页码中的图片数据
     for page in range(page_start,page_end+1):
         print(‘正在下载第%d页图片‘%page)
         new_url = format(url % page)
         response = requests.get(url=new_url,headers=headers)

         #解析response中的图片链接
         e = ‘<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>‘
         pa = re.compile(e,re.S)
         image_urls = pa.findall(response.text)
          #循环下载该页码下所有的图片数据
         for image_url in image_urls:
             image_url = ‘https:‘ + image_url
             image_name = image_url.split(‘/‘)[-1]
             image_path = ‘images/‘+image_name

             image_data = requests.get(url=image_url,headers=headers).content
             with open(image_path,‘wb‘) as fp:
                 fp.write(image_data)

爬取糗事百科指定页面的糗图,并将其保存到指定文件夹中

 

BS4

环境安装

  1.pip install BS4

  2.pip install lxml

解析原理 

  • 实例化一个BeautifulSoup对象,必须把即将被解析的页面源码加载到该对象中
  • 调用该对象中相关的属性或者方法进行标签的定位和内容的提取

如何实例化一个BeautifulSoup对象

  • 本地: 
    • soup = BeautifulSoup(open(‘本地文件‘), ‘lxml‘)
  • 网络加载:
    • soup = BeautifulSoup(‘字符串类型或者字节类型‘, ‘lxml‘)

 

XPath

解析原理

  1.实例化etree对象,且将源码加载到该对象中

  2.使用xpath方法结合着xpath表达式进行标签的定位和数据的提取

属性定位:
    #找到class属性值为song的div标签
    //div[@class="song"] 
层级&索引定位:
    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
    //div[@class="tang"]/ul/li[2]/a
逻辑运算:
    #找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]
模糊匹配:
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本:
    # /表示获取某个标签下的文本内容
    # //表示获取某个标签下的文本内容和所有子标签下的文本内容
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取属性:
    //div[@class="tang"]//li[2]/a/@href

  

 

  

代码中使用xpath表达式进行数据解析:

1.下载:pip install lxml
2.导包:from lxml import etree

3.将html文档或者xml文档转换成一个etree对象,然后调用对象中的方法查找指定的节点

  2.1 本地文件:tree = etree.parse(文件名)
                tree.xpath("xpath表达式")

  2.2 网络数据:tree = etree.HTML(网页内容字符串)
                tree.xpath("xpath表达式")

  

安装xpath插件在浏览器中对xpath表达式进行验证:可以在插件中直接执行xpath表达式

  • 将xpath插件拖动到谷歌浏览器拓展程序(更多工具)中,安装成功

  •  启动和关闭插件 ctrl + shift + x

 

下载煎蛋网中的图片

import requests
from lxml import etree
from fake_useragent import UserAgent
import base64
import urllib.request
url = ‘http://jandan.net/ooxx‘
ua = UserAgent(verify_ssl=False,use_cache_server=False).random
headers = {
    ‘User-Agent‘:ua
}
page_text = requests.get(url=url,headers=headers).text

#查看页面源码:发现所有图片的src值都是一样的。
#简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。
#在该函数后面还有一个class值为img-hash的标签,里面存储的是一组hash值,该值就是加密后的img地址
#加密就是通过js函数实现的,所以分析js函数,获知加密方式,然后进行解密。
#通过抓包工具抓取起始url的数据包,在数据包中全局搜索js函数名(jandan_load_img),然后分析该函数实现加密的方式。
#在该js函数中发现有一个方法调用,该方法就是加密方式,对该方法进行搜索
#搜索到的方法中会发现base64和md5等字样,md5是不可逆的所以优先考虑使用base64解密
#print(page_text)

tree = etree.HTML(page_text)
#在抓包工具的数据包响应对象对应的页面中进行xpath的编写,而不是在浏览器页面中。
#获取了加密的图片url数据
imgCode_list = tree.xpath(‘//span[@class="img-hash"]/text()‘)
imgUrl_list = []
for url in imgCode_list:
    #base64.b64decode(url)为byte类型,需要转成str
    img_url = ‘http:‘+base64.b64decode(url).decode()
    imgUrl_list.append(img_url)

for url in imgUrl_list:
    filePath = url.split(‘/‘)[-1]
    urllib.request.urlretrieve(url=url,filename=filePath)
    print(filePath+‘下载成功‘)

下载煎蛋网中的图片数据:http://jandan.net/ooxx

以上是关于爬虫之三种解析方式的主要内容,如果未能解决你的问题,请参考以下文章

《Python网络爬虫之三种数据解析方式?

05,Python网络爬虫之三种数据解析方式

Python网络爬虫之三种数据解析方式

爬虫之三种解析方式

爬虫学习推荐目录

Python爬虫之三种网页抓取方法性能比较