xpath定位器

Posted 2020-11-24 yanjiayi098-001

目录

• 什么是xpath？
• xpath的作用
• xpath的术语
• xpath语法
• XPath 轴
• XPath 运算符
• xpath的优势

什么是xpath？

官方解释：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

一句话总结：一句话，XPath 是一门在 XML 文档中查找信息的语言。简单来说，html类似于xml结构，但是没有xml格式那么严格。（在xml中查找信息，包括html）

xpath的作用

xpath的作用就是两个字“定位”，运用各种方法进行快速准确的定位

xpath的术语

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的，树的根被称为文档节点或者根节点

<bookstore>
    <book>
        <title>Harry Potter</title>
        <author>J K. Rowling</author>
        <year>2005</year>
    </book>
</bookstore>

<!--
<bookstore> （文档节点）
<author>J K.Rowling</author> （元素节点）
lang="en" （属性节点）
-->

节点关系

父(parent)

每一个元素以及属性都有一个父

<book>
    <title>Harry Potter</title>
    <author>J K. Rowling</author>
    <year>2005</year>
    <price>29.99</price>
</book>

在上面的例子中，book元素是title、author、year 以及 price 元素的父

子（Children）

元素节点可有零个、一个或多个子。

<book>
    <title>Harry Potter</title>
    <author>J K. Rowling</author>
    <price>29.99</price>
</book>

在上面的例子中，title、author以及 price 元素都是 book 元素的子

同胞（Sibling）

拥有相同的父的节点

<book>
    <title>Harry Potter</title>
    <author>J K. Rowling</author>
    <price>29.99</price>
</book>

在上面的例子中，title、author以及 price 元素都是同胞

先辈（Ancestor）

某节点的父、父的父(爷爷)，等等

<bookstore>
    <book>
        <title>Harry Potter</title>
        <author>J K. Rowling</author>
    </book>
</bookstore>

在上面的例子中，title 元素的先辈是 book 元素和bookstore 元素

后代（Descendant）

某个节点的子，子的子(孙子)，等等

<bookstore>
    <book>
        <title>Harry Potter</title>
        <author>J K. Rowling</author>
    </book>
</bookstore>

在上面的例子中，bookstore 的后代是 book、title、author元素

xpath语法

接下来我们将以下面这个xml文档作为例子

<bookstore>
    
    <book>
        <titlelang="eng">Harry Potter</title>
        <price>29.99</price>
    </book>
    
    <book>
        <titlelang="eng">Learning XML</title>
        <price>39.95</price>
    </book>
    
</bookstore>

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取(绝对位置)
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置(相对位置)
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

我们可以看看他是具体怎样使用的

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。 注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语（Predicates）

谓语是用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号[]中。

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng‘]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

实例：在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例：在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
//book/title|//book/price	选取 book 元素的所有 title 和 price 元素。
//title | //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title|//price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

XPath 轴

我们将在下面的例子中使用此 XML 文档：

<bookstore>
    
    <book>
        <titlelang="eng">Harry Potter</title>
        <price>29.99</price>
    </book>
    
    <book>
        <titlelang="eng">Learning XML</title>
        <price>39.95</price>
    </book>
    
</bookstore>

轴可定义相对于当前节点的节点集。

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

步（step）包括：轴（axis）、节点测试（node-test）、零个或者更多谓语（predicate）

轴（axis）：定义所选节点与当前节点之间的树关系

节点测试（node-test）：识别某个轴内部的节点

零个或者更多谓语（predicate）：更深入地提炼所选的节点集

步的语法：

轴名称::节点测试[谓语]

实例

例子	结果
child::book	选取所有属于当前节点的子元素的 book 节点。
attribute::lang	选取当前节点的 lang 属性。
child::*	选取当前节点的所有子元素。
attribute::*	选取当前节点的所有属性。
child::text()	选取当前节点的所有文本子节点。
child::node()	选取当前节点的所有子节点。
descendant::book	选取当前节点的所有 book 后代。
ancestor::book	选择当前节点的所有 book 先辈。
ancestor-or-self::book	选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）
child::*/child::price	选取当前节点的所有 price 孙节点。

XPath 运算符

下面列出了可用在 XPath 表达式中的运算符：

运算符	描述	实例	返回值
|	计算两个节点集	//book | //cd	返回所有拥有 book 和 cd 元素的节点集
+	加法	6 + 4	10
-	减法	6 - 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等于	price=9.80	如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。
!=	不等于	price!=9.80	如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
<	小于	price<9.80	如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
<=	小于或等于	price<=9.80	如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
>	大于	price>9.80	如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
>=	大于或等于	price>=9.80	如果 price 是 9.90，则返回 true。如果 price 是 9.70，则返回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，则返回 true。如果 price 是 9.50，则返回 false。
and	与	price>9.00 and price<9.90	如果 price 是 9.80，则返回 true。如果 price 是 8.50，则返回 false。
mod	计算除法的余数	5 mod 2	1

xpath的优势

XPath的优势在于它的速度，这是因为它把html以树形的结构进行存储，在你通过层级关系查找节点的时候，并不需要对所有字符串进行遍历，它的底层是通过libxml构建一棵DOM树实现的查找。

XPath其实并不容易掌握（ps：我的意思是要深入掌握），它的语法和函数都非常多，学习起来成本也比较高，但是在普通的抓取业务中，只需要掌握一些基本的就足够了。

XPath的语法和规则跟语言是无关的。

xpath针对单个网页的爬取新的基本方法，帮助开发人员快速抓取网页中的信息。因为简单快速，适用范围必然比不上强大的正则表达式，可以根据各自的应用场景选择

ps：xpath需要学的东西还很多，详细可以了解https://www.w3school.com.cn/xpath/xpath_functions.asp