python中xpath解析网页html文档
Posted weixin_ancenhw
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python中xpath解析网页html文档相关的知识，希望对你有一定的参考价值。
1、首先安装xpath解析工具第三方库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml
2、选取节点、选取未知节点、选取若干路径
举例说明：
谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
选取未知节点
选取若干路径
案例：
from lxml import etree
# 定义需要爬取的html网页内容
html = """
<html>
<body>
<ul>
<li><a href="a.html">java</a></li>
<li><a href="b.html">python</a></li>
<li><a href="c.html">nodejs</a></li>
</ul>
<ol>
<li class="a1">样式1</li>
<li class="a2">样式2</li>
<li class="a3">样式3</li>
</ol>
</body>
</html>
"""
# 解析html
tree = etree.HTML(html)
# 查找指定路径所对应的属性
lis = tree.xpath("/html/body/ul/li/a/@href")
print(lis)
输出结果：
C:\\Programs\\Python\\vis\\Scripts\\python.exe "D:/pythonTest/test01/pyhton 中xpath爬虫.py"
['a.html', 'b.html', 'c.html']
以上是关于python中xpath解析网页html文档的主要内容，如果未能解决你的问题，请参考以下文章