Python爬虫利器之解析库的使用
Posted q56731523
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫利器之解析库的使用相关的知识，希望对你有一定的参考价值。
对于一个刚学Python爬虫的新手来说，学习Python爬虫里面的「解析库的使用」如果没有超强记忆力，估计是边学边忘，正所谓好记性不如烂笔头，在自己学些爬虫相关的知识点可以记录下来然后多次实践肯定比单凭记忆力要记得牢，下面我就把我学习的一些解析库的知识整理出来，供大家参考下。
我的计划是，把自己学习记录的知识点，整理成读书笔记，节约大家自学的时间成本。话不多说，让我们一起来学习下这部分知识吧。
为什么要学习解析库
我们实现一个最基本的爬虫，提取页面信息时会使用正则表达式。正则表达式虽然提取信息速度很快，但是万一正则表达式有地方写错了，可能导致匹配失败，而且复杂项目的正则表达式很烦琐，那么有没有另一种方便快捷的方法呢？
当然有啦，Python以它强大的库功能，给我提供了高效的方法——解析库。
什么是解析库
解析库意思是解析某个特定的内容，一个爬虫的思路非常简单，即向服务器发起请求，得到响应后，根据返回的内容做进一步处理。一般返回的内容是网页的源代码，有时候还会是json数据。针对网页源代码，我们就需要用解析库来解析我们想要的内容。
常用的解析库有3种：
1、lxml
2、Beautiful Soup
3、pyquery
其中lxml库使用的是Xpath语法，是一种效率较高的解析方法，那么今天我们就详细介绍下Xpath的使用，此教程一共分为三篇，今天是第一篇。
什么是Xpath？
Xpath，全称XML Path Language，即XML路径语言，是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于html文档的搜索。
所以在做爬虫时，我们完全可以使用Xpath来做相应的信息抽取。接下来介绍下Xpath的基本用法。
1、Xpath概况
Xpath选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了100个内置函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。
2、Xpath常用规则
这个表格里的知识大家一定要掌握，并且要熟记于心，只有写出正确的表达式，才能写出正确的Xpath解析式，我们才能进行HTML的解析。
举例说明：
//title[@lang=‘eng’]
表示的是所有名称为title，同时属性lang的值为eng的节点。
3、准备工作
使用Xpath之前，首先要确保安装好lxml库。安装方法非常简单。
pip3 install lxml
4、实例引入
现在通过实例来感受一下使用Xpath对网页解析的过程，相关代码如下：
from lxml import etree
text= '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = etree.tostring(html)
print(result.decode('utf-8'))
这里首先导入lxml库的etree模块，然后声明了一段HTML文本，调用HTML类进行初始化，这样就成功构造了一个Xpath解析对象。这里需要注意的是，HTML文本的最后一个li节点是没有闭合的，但是etree模块可以自动修正HTML文本。
这里我们调用tostring（）方法即可输出修正后的HTML代码，但是结果是bytes类型。这里利用decode（）方法将其转成str类型，结果如下：
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div>
</body></html>
我们可以看到，经过处理之后，li节点标签被补全，并且还自动添加了body、html节点。
另外，也可以直接读取文本文件进行解析，示例如下：
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))
其中test.html的内容就是上面例子中的HTML代码，内容如下：
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
这里需要注意的是，为了成功运行程序，需要新建一个名为test.html的HTML文件，而不是像上面那样简单的进行声明。
这次的输出结果略有不同，多了一个DOCTYPE的声明，但是对解析无任何影响，结果如下：
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</li></ul>
</div></body></html>
总结
今天我们介绍了什么是Xpath，Xpath有什么用，以及Xpath如何使用等知识，关于Xpath我计划写三篇文章，今天这篇主要是基础知识的介绍，第2篇详细介绍Xpath的操作，第3篇则是带大家一起实战练习。
python爬虫从入门到放弃之 BeautifulSoup库的使用
原文地址https://www.cnblogs.com/zhaof/p/6930955.html
上一篇文章的正则，其实对很多人来说用起来是不方便的，加上需要记很多规则，所以用起来不是特别熟练，而这节我们提到的beautifulsoup就是一个非常强大的工具，爬虫利器。
beautifulSoup “美味的汤，绿色的浓汤”
一个灵活又方便的网页解析库，处理高效，支持多种解析器。
利用它就不用编写正则表达式也能方便的实现网页信息的抓取
快速使用
通过下面的一个例子，对bs4有个简单的了解，以及看一下它的强大之处：
from bs4 import BeautifulSoup html = \'\'\' <html><head><title>The Dormouse\'s story</title></head> <body> <p class="title"><b>The Dormouse\'s story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> \'\'\' soup = BeautifulSoup(html,\'lxml\') print(soup.prettify()) print(soup.title) print(soup.title.name) print(soup.title.string) print(soup.title.parent.name) print(soup.p) print(soup.p["class"]) print(soup.a) print(soup.find_all(\'a\')) print(soup.find(id=\'link3\'))
结果如下：
使用BeautifulSoup解析这段代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出。
同时我们通过下面代码可以分别获取所有的链接，以及文字内容：
for link in soup.find_all(\'a\'):
print(link.get(\'href\'))
print(soup.get_text())
解析器
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。
下面是常见解析器：
推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定.
基本使用
标签选择器
在快速使用中我们添加如下代码：
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)
通过这种soup.标签名 我们就可以获得这个标签的内容
这里有个问题需要注意，通过这种方式获取标签，如果文档中有多个这样的标签，返回的结果是第一个标签的内容，如上面我们通过soup.p获取p标签，而文档中有多个p标签，但是只返回了第一个p标签内容
获取名称
当我们通过soup.title.name的时候就可以获得该title标签的名称，即title
获取属性
print(soup.p.attrs[\'name\'])
print(soup.p[\'name\'])
上面两种方式都可以获取p标签的name属性值
获取内容
print(soup.p.string)
结果就可以获取第一个p标签的内容：
The Dormouse\'s story
嵌套选择
我们直接可以通过下面嵌套的方式获取
print(soup.head.title.string)
子节点和子孙节点
contents的使用
通过下面例子演示：
html = """
<html>
<head>
<title>The Dormouse\'s story</title>
</head>
<body>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">
<span>Elsie</span>
</a>
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>
and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>
and they lived at the bottom of a well.
</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,\'lxml\')
print(soup.p.contents)
结果是将p标签下的所有子标签存入到了一个列表中
列表中会存入如下元素
children的使用
通过下面的方式也可以获取p标签下的所有子节点内容和通过contents获取的结果是一样的，但是不同的地方是soup.p.children是一个迭代对象，而不是列表，只能通过循环的方式获取素有的信息
print(soup.p.children)
for i,child in enumerate(soup.p.children):
print(i,child)
通过contents以及children都是获取子节点，如果想要获取子孙节点可以通过descendants
print(soup.descendants)同时这种获取的结果也是一个迭代器
父节点和祖先节点
通过soup.a.parent就可以获取父节点的信息
通过list(enumerate(soup.a.parents))可以获取祖先节点，这个方法返回的结果是一个列表，会分别将a标签的父节点的信息存放到列表中，以及父节点的父节点也放到列表中，并且最后还会讲整个文档放到列表中，所有列表的最后一个元素以及倒数第二个元素都是存的整个文档的信息
兄弟节点
soup.a.next_siblings 获取后面的兄弟节点
soup.a.previous_siblings 获取前面的兄弟节点
soup.a.next_sibling 获取下一个兄弟标签
souo.a.previous_sinbling 获取上一个兄弟标签
标准选择器
find_all
find_all(name,attrs,recursive,text,**kwargs)
可以根据标签名，属性，内容查找文档
name的用法
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
print(soup.find_all(\'ul\'))
print(type(soup.find_all(\'ul\')[0]))
结果返回的是一个列表的方式
同时我们是可以针对结果再次find_all,从而获取所有的li标签信息
for ul in soup.find_all(\'ul\'):
print(ul.find_all(\'li\'))
attrs
例子如下：
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1" name="elements">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
print(soup.find_all(attrs={\'id\': \'list-1\'}))
print(soup.find_all(attrs={\'name\': \'elements\'}))
attrs可以传入字典的方式来查找标签，但是这里有个特殊的就是class,因为class在python中是特殊的字段，所以如果想要查找class相关的可以更改attrs={\'class_\':\'element\'}或者soup.find_all(\'\',{"class":"element})，特殊的标签属性可以不写attrs，例如id
text
例子如下：
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
print(soup.find_all(text=\'Foo\'))
结果返回的是查到的所有的text=\'Foo\'的文本
find
find(name,attrs,recursive,text,**kwargs)
find返回的匹配结果的第一个元素
其他一些类似的用法：
find_parents()返回所有祖先节点，find_parent()返回直接父节点。
find_next_siblings()返回后面所有兄弟节点，find_next_sibling()返回后面第一个兄弟节点。
find_previous_siblings()返回前面所有兄弟节点，find_previous_sibling()返回前面第一个兄弟节点。
find_all_next()返回节点后所有符合条件的节点, find_next()返回第一个符合条件的节点
find_all_previous()返回节点后所有符合条件的节点, find_previous()返回第一个符合条件的节点
CSS选择器
通过select()直接传入CSS选择器就可以完成选择
熟悉前端的人对CSS可能更加了解，其实用法也是一样的
.表示class #表示id
标签1，标签2 找到所有的标签1和标签2
标签1 标签2 找到标签1内部的所有的标签2
[attr] 可以通过这种方法找到具有某个属性的所有标签
[atrr=value] 例子[target=_blank]表示查找所有target=_blank的标签
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
print(soup.select(\'.panel .panel-heading\'))
print(soup.select(\'ul li\'))
print(soup.select(\'#list-2 .element\'))
print(type(soup.select(\'ul\')[0]))
获取内容
通过get_text()就可以获取文本内容
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
for li in soup.select(\'li\'):
print(li.get_text())
获取属性
或者属性的时候可以通过[属性名]或者attrs[属性名]
html=\'\'\'
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
\'\'\'
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, \'lxml\')
for ul in soup.select(\'ul\'):
print(ul[\'id\'])
print(ul.attrs[\'id\'])
总结
推荐使用lxml解析库，必要时使用html.parser
标签选择筛选功能弱但是速度快
建议使用find()、find_all() 查询匹配单个结果或者多个结果
如果对CSS选择器熟悉建议使用select()
记住常用的获取属性和文本值的方法
以上是关于Python爬虫利器之解析库的使用的主要内容，如果未能解决你的问题，请参考以下文章
python爬虫从入门到放弃之 BeautifulSoup库的使用