爬虫项目数据解析方式

Posted sikuaiqian

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫项目数据解析方式相关的知识,希望对你有一定的参考价值。

数据解析

requests实现数据爬取的流程

  1. 指定url
  2. 基于requests模块发起请求
  3. 获取响应对象中的数据
  4. 进行持久化存储

因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数据,所以,我们的数据爬取的流程可以修改为:

  1. 指定url
  2. 基于requests模块发起请求
  3. 获取响应中的数据
  4. 数据解析
  5. 进行持久化存储

正则解析

常用的正则表达式回顾:

   单字符:
        . : 除换行以外所有字符
        [] :[aoe] [a-w] 匹配集合中任意一个字符
        \d :数字  [0-9]
        \D : 非数字
        \w :数字、字母、下划线、中文
        \W : 非\w
        \s :所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
        \S : 非空白
    数量修饰:
        * : 任意多次  >=0
        + : 至少1次   >=1
        ? : 可有可无  0次或者1次
        m :固定m次 hello3,
        m, :至少m次
        m,n :m-n次
    边界:
        $ : 以某某结尾 
        ^ : 以某某开头
    分组:
        (ab)  
    贪婪模式: .*
    非贪婪(惰性)模式: .*?

    re.I : 忽略大小写
    re.M :多行匹配
    re.S :单行匹配

    re.sub(正则表达式, 替换内容, 字符串)

re模块练习:

import re
#提取出python
key="javapythonc++php"
re.findall(python,key)[0]
--------------------------------------------------------------------------------------------------------------------------
#提取出hello world
key="<html><h1>hello world<h1></html>"
re.findall(<h1>(.*)<h1>,key)[0]
--------------------------------------------------------------------------------------------------------------------------
#提取170
string = 我喜欢身高为170的女孩
re.findall(\d+,string)
--------------------------------------------------------------------------------------------------------------------------
#提取出http://和https://
key=http://www.baidu.com and https://boob.com
re.findall(https?://,key)
--------------------------------------------------------------------------------------------------------------------------
#提取出hello
key=lalala<hTml>hello</HtMl>hahah #输出<hTml>hello</HtMl>
re.findall(<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>,key)
--------------------------------------------------------------------------------------------------------------------------
#提取出hit. 
key=bobo@hit.edu.com#想要匹配到hit.
re.findall(h.*?\.,key)
--------------------------------------------------------------------------------------------------------------------------
#匹配sas和saas
key=saas and sas and saaas
re.findall(sa1,2s,key)
--------------------------------------------------------------------------------------------------------------------------
#匹配出i开头的行
string = ‘‘‘fall in love with you
i love you very much
i love she
i love her‘‘‘

re.findall(^.*,string,re.M)
--------------------------------------------------------------------------------------------------------------------------
#匹配全部行
string1 = """<div>静夜思
窗前明月光
疑是地上霜
举头望明月
低头思故乡
</div>"""

re.findall(.*,string1,re.S)

项目爬取练习:

import requests
import re
import os
headers=
     User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.8 Safari/537.36


url=https://www.qiushibaike.com/pic/page/%d

dirname=./qiushiTU
if not os.path.exists(dirname):
    os.mkdir(dirname)

for page in range(1,3):
    print(正在爬取第页的图片数据.format(page))
    new_url=format(url%page)
    
    
    page_text=requests.get(url=new_url,headers=headers).text
    ex=<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>
    img_src_list=re.findall(ex,page_text,re.S)
    for img_src in img_src_list:
        img_src=https:+img_src
        img_name=img_src.split(/)[-1]
        img_path=dirname+/+img_name
        request.urlretrieve(img_src,img_path)
        print(img_name,下载成功)

Xpath解析

xpath表达式

属性定位:
    #找到class属性值为song的div标签
    //div[@class="song"] 
层级&索引定位:
    #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
    //div[@class="tang"]/ul/li[2]/a
    #索引值是从1开始
逻辑运算:
    #找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]
模糊匹配:
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本:
    # /表示获取某个标签下的文本内容,我们必须从根标签进行定位
    # //表示获取某个标签下的文本内容和所有子标签下的文本内容,我们可以从任意位置标签定位
    //div[@class="song"]/p[1]/text()
    //div[@class="tang"]//text()
取属性:
    //div[@class="tang"]//li[2]/a/@href

    在xpath表达式中非最左侧的/和//的区别?       

 

以上是关于爬虫项目数据解析方式的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫怎么挣钱?解析Python爬虫赚钱方式

爬虫代码实现三:打通爬虫项目的下载解析存储流程

Python爬虫项目,获取所有网站上的新闻,并保存到数据库中,解析html网页等

python爬虫项目(新手教程)之知乎(requests方式)

python爬虫---实现项目 用BeautifulSoup分析新浪新闻数据

30天搞定大数据爬虫项目,数据爬虫全文检索数据可视化爬虫项目监控