Python - 爬虫之数据提取

Posted 2021-12-15 GitLqr

欢迎关注微信公众号：FSA全栈行动 👋

一、概述

1、响应内容的分类

• 结构化的响应内容
  • json 字符串：可以使用 re、json、jsonpath 等模块来提取特定数据
  • xml 字符串：可以使用 re、lxml 等模块来提取特定数据
• 非结构化的响应内容
  • html 字符串：可以使用 re、lxml、Beautiful Soup、pyquery 等模块来提取特定数据

注意：re 模块需要掌握正则语法，lxml 模块需要掌握 xpath 语法。

2、xml 与 html 的区别

数据格式	描述	设计目标
XML	EXtensible Markup Language（可扩展标记语言）	被设计为传输和存储数据，其焦点是数据的结构
HTML	HyperText Markup Language（超文本标记语言）	显示数据以及如何更好显示数据

二、jsonpath 模块【了解】

1、介绍

• 场景：多层嵌套的复杂字典直接提取数据
• 安装：pip install jsonpath
• 使用：

from jsonpath import jsonpath
ret = jsonpath(data, 'jsonpath语法规则字符串')

注意：data 类型是字典，ret 类型是列表

2、jsonpath 语法规则

常用核心语法

JSONPath	描述
$	根节点
. or []	取子节点
…	内部任意位置，取子孙节点

完整语法说明：https://kubernetes.io/zh/docs/reference/kubectl/jsonpath/

from jsonpath import jsonpath

data = 'key1': 'key2': 'key3': 'key4': 'key5': 'key6': 'lqr'

# print(data['key1']['key2']['key3']['key4']['key5']['key6'])

# jsonpath的结果为列表，获取数据需要索引
print(jsonpath(data, '$.key1.key2.key3.key4.key5.key6')[0])
print(jsonpath(data, '$..key6')[0])

三、lxml 模块【重点】

1、介绍

• lxml 模块：可以利用 XPath 规则语法，快速定位 HTML/XML 文档中的元素以及获取节点信息（文本内容、属性值）
• XPath：是一门对 HTML/XML 文档中查找信息的语言，可用来在 HTML/XML 文档中对元素和属性进行遍历
• 关系：提取 xml、html 中的数据需要 lxml 模块和 xpath 语法配合使用

2、xpath 语法

完整语法说明：https://www.w3school.com.cn/xpath/index.asp

1）xpath 定位节点以及提取属性或文本内容语法

nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
…	选取当前节点的父节点。
@	选取属性。
text()	选取文本。

举例：

<!-------选取title标签-------->
html/head/title	绝对路径
html//title		相对路径
//title			相对于整个html文档
//title/.		当前节点
//title/./../..	父节点

<!-------从开闭标签之间取文本内容-------->
//title/text()

<!-------从选中的节点标签中获取指定属性的值-------->
//link/@href

安利：Chrome 插件【xmlpath-helper】：https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl/related?hl=zh-CN

2）xpath 选取特定节点语法

路径表达式	结果
//title[@lang=“eng”]	选择 lang 属性值为 eng 的所有 title 元素
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素
/bookstore/book[last]	选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position()>1]	选择 bookstore 下面的 book 元素，从第二个开始选择
//book/title[text()=‘Harry Potter’]	选择所有 book 下的 title 元素，仅仅选择文本为 Harry Potter 的 title 元素
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 子元素的值须大于 35.00

注意：在 xpath 中，第一个元素的位置是 1；最后一个元素的位置是 last()；倒数第二个是 last()-1。

举例：

<!-------通过索引修饰节点-------->
/html/body/div[3]/div/div[1]/div
/html/body/div[3]/div/div[1]/div[3]
/html/body/div[3]/div/div[1]/div[last()]		选中最后一个
/html/body/div[3]/div/div[1]/div[last()-1]		选中倒数第二个
/html/body/div[3]/div/div[1]/div[position()>=10] 范围选择

<!-------通过属性修饰节点-------->
//div[@id="content-left"]/div/@id	出现在[]中的@是使用标签属性名和属性值修饰节点，出现在结尾的/@是取属性值

<!-------通过子节点修饰节点-------->
//span[i>2000]
//div[span[2]>=9.4]

<!-------通过包含修饰节点-------->
//div[contains(@id, "qiushi_tag_")]

3）xpath 选取未知节点语法

可以通过通配符来选取未知的 html、xml 的元素

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

补充：通过在路径表达式中使用"|"运算符，可以选取若干个路径。

举例：

/bookstore/*	选取 bookstore 元素的所有子元素。
//*				选取文档中的所有元素。
//title[@*]		选取所有带有属性的 title 元素

//h2/a|//td/a	xpath复合使用语法

3、lxml 模块的使用

1）导入 lxml 的 etree 库

from lxml import etree

# 如果上面导入代码报错，可以改用下面的导入代码
from lxml import html
etree = html.etree

注意：from lxml import etree 提示报错的话，其实不会影响代码的运行，只是看着有点别扭。

2）使用 etree.HTML 转化 Element 对象

利用 etree.HTML 将 html 字符串（bytes 类型或 str 类型）转化为 Element 对象，Element 对象具有 xpath 方法，返回结果的列表：

html = etree.HTML(text)
ret_list = html.xpath('xpath语法规则字符串')

3）xpath 方法返回列表的三种情况

• 空列表：没有定位到任何元素
• 字符串列表：匹配到了文本内容或某属性的值
• Element 列表：匹配到符合条件的标签，列表中的 Element 对象可以继续进行 xpath

举例：

from lxml import etree

text = """
<div>
    <ul>
        <li class="item-1"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""

html = etree.HTML(text)
#print(html)

print(html.xpath('//a[@href="link1.html"]/text()'))
print(html.xpath('//a[@href="link1.html"]/text()')[0])

# 字符串列表
text_list = html.xpath('//a/text()')
link_list = html.xpath('//a/@href')
# for text in text_list:
#     myindex = text_list.index(text)
#     link = link_list[myindex]
#     print(text, link)
for text, link in zip(text_list, link_list):
    print(text, link)

# Element列表
el_list = html.xpath('//a')
for el in el_list:
    print(el.xpath('//text()'))  # ×：//开头是相对整个文档的
    print(el.xpath('./text()'))  # √
    print(el.xpath('.//text()'))  # √
    print(el.xpath('text()'))  # √

4）etree.tostring 函数的使用

etree.tostring 函数可以将 Element 对象转化回 html 字符串：

from lxml import etree

text = """
<div>
    <ul>
        <li class="item-1"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""

html = etree.HTML(text)

html_str = etree.tostring(html).decode()
print(html_str)

注意：转化后，可能会多出来一些标签，比如原本没有的<body>、<html>，这是因为 etree.HTML(text) 会自动补全原 html 中的语法错误。

如果文章对您有所帮助, 请不吝点击关注一下我的微信公众号：FSA全栈行动, 这将是对我最大的激励. 公众号不仅有android技术, 还有ios, Python等文章, 可能有你想要了解的技能知识点哦~