爬虫-数据解析-bs4

Posted bigox

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫-数据解析-bs4相关的知识,希望对你有一定的参考价值。

1.数据解析

  • 解析: 根据指定的规则对数据进行提取

  • 作用: 实现聚焦爬虫

  • 数据解析方式:

    - 正则表达式
    - bs4
    - xpath
  • 数据解析的通用原理:

    • 数据解析需要作用在页面源码中(一组html标签组成的)

      html:的核心作用是展示数据
    • 通用原理:

      • 标签定位
      • 获取文本或者属性
  • 正则表达式实现数据解析

    # 需求:爬取糗事百科中糗图数据
    import requests
    headers = 
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
    
    
    #方式1:
    url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'
    img_data = requests.get(url=url,headers=headers).content #content返回的是byte类型的数据
    with open('./123.jpg','wb') as fp:
        fp.write(img_data)
    
    #方式2:
    from urllib import request
    url = 'https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg'
    request.urlretrieve(url,'./456.jpg')
    
    
    - 方式2不可以使用UA伪装的机制
    
    - urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib

2.bs4 解析模块

  • 模块安装 :

    • pip install bs4
    • pip install lxml
  • bs4 的解析原理

    • 实例化一个beautifulSoup的对象,并且将即将被解析的源码数据加载到该对象中
    • 调用beautifulSoup对象中的相关属性和方法继续宁标签定位和数据提取
  • 如何实例化BeautifulSoup对象

    • BeautifulSoup(fp,‘lxml‘):专门用作于解析本地存储的html文档中的数据

      from bs4 import BeautifulSoup
      fp = open('./test.html','r',encoding='utf-8')
      soup = BeautifulSoup(fp,'lxml') #将即将被解析的页面源码加载到该对象中
    • BeautifulSoup(page_text,‘lxml‘):专门用作于将互联网上请求到的页面源码数据进行解析

  • 标签定位:

    • soup = BeautifulSoup(page_text,‘lxml‘) 实例化一个对象

    • soup.tagName:定位到第一个TagName标签,返回的是单数

    • 属性定位:soup.find(‘tagName‘,attrName=‘value‘),返回也是单数

      • find_all:和find用法一致,但是返回值是列表
    • 选择器定位:select(‘选择器‘),返回值为列表

      • 标签选择器,类选择器,id选择器,层级选择器(>:一个层级,空格:多个层级)
      from bs4 import BeautifulSoup
      fp = open('./test.html','r',encoding='utf-8')
      soup = BeautifulSoup(fp,'lxml') #将即将被解析的页面源码加载到该对象中
      soup.p
      soup.find('div',class_='song')
      soup.find_all('div',class_='song')
      soup.select('.tang')
      soup.select('#feng')
      soup.select('.tang > ul > li')
      soup.select('.tang li')
      li_6 = soup.select('.tang > ul > li')[6]
      i_tag = li_6.i
      i_tag.string
      soup.find('div',class_='tang').text
      soup.find('a',id="feng")['href']
  • 提取数据

    • 取文本:
      • tag.string:标签中直系的文本内容(只提取直系内的文本)
      • tag.text:标签中所有的文本内容
    • 取属性:
      • tag[‘attrName‘]
    # 爬取三国演义整篇小说内容http://www.shicimingju.com/book/sanguoyanyi.html
    
    url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    page_text = requests.get(url,headers=headers).text
    soup = BeautifulSoup(page_text,'lxml')
    a_list = soup.select('.book-mulu > ul > li > a')
    fp = open('sanguo.txt','w',encoding='utf-8')
    for a in a_list:
        detail_url = 'http://www.shicimingju.com'+a['href']
        chap_title = a.string
        #对章节详情页的url发起请求,解析详情页中的章节内容
        detail_page_text = requests.get(detail_url,headers=headers).text
        soup = BeautifulSoup(detail_page_text,'lxml')
        chap_content = soup.find('div',class_="chapter_content").text
        fp.write(chap_title+':'+chap_content+'\n')
        print(chap_title,'爬取成功!')
    fp.close()

以上是关于爬虫-数据解析-bs4的主要内容,如果未能解决你的问题,请参考以下文章

爬虫数据解析

Python爬虫数据解析之bs4解析和xpath解析

《爬虫学习》(使用lxml,bs4库以及正则表达式解析数据)

爬虫之数据解析,网页源码数据分析

爬虫bs4

爬虫02 /数据解析