lxml库

Posted c-pyday

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了lxml库相关的知识,希望对你有一定的参考价值。

lxml库

lxml是一个html/XML的解析器,主要的功能是如何解析和提取 HTML/XML数据。

基本使用:

1.我们可以利用他来解析HTML代码,并且在解析HTML代码的时候,如果HTML代码不规范,他会自动的进行补全。

#使用lxml的etree库
from lxml import etree

text = """
<div id="usrbar" alog-group="userbar" alog-alias="hunter-userbar-start"></div>
<ul id="header-link-wrapper" class="clearfix">
<li><a href="https://www.baidu.com/" data-path="s?wd=">网页</a></li>
<li style="margin-left:21px;"><span>新闻</span></li>
<li><a href="http://tieba.baidu.com/" data-path="f?kw=">贴吧</a></li>
<li><a href="https://zhidao.baidu.com/" data-path="search?ct=17&pn=0&tn=ikaslist&rn=10&lm=0&word=">知道</a></li>
<li><a href="http://music.baidu.com/" data-path="search?fr=news&ie=utf-8&key=">音乐</a></li>
<li><a href="http://image.baidu.com/" data-path="search/index?ct=201326592&cl=2&lm=-1&tn=baiduimage&istype=2&fm=&pv=&z=0&word=">图片</a></li>
<li><a href="http://v.baidu.com/" data-path="v?ct=3019898888&ie=utf-8&s=2&word=">视频</a></li>
<li><a href="http://map.baidu.com/" data-path="?newmap=1&ie=utf-8&s=s%26wd%3D">地图</a></li>
<li><a href="http://wenku.baidu.com/" data-path="search?ie=utf-8&word=">文库</a></li>
<div class="header-divider"></div>
</ul>
</div>
"""
#利用etree.HTML,将字符串解析为HTML文档
html_text = etree.HTML(text)        #html_text为Element对象    (可以执行xpath语法)

#将字符串序列化HTML文档
result = etree.tostring(html_text,encoding=utf-8).decode(utf-8)

print(result)

2.从文件中读取html代码:

from lxml import etree

#读取外部文件 hello.html
html = etree.parse(hello.html)
result = etree.tostring(html,pretty_print=True,encoding=‘utf-8‘).decode(‘utf-8‘)
print(result)

在上代码中,如果html代码不是很规范的话会报错,这时就要更改解析器

from lxml import etree

#读取外部文件 hello.html
parser = etree.HTMLParser(encoding=utf-8)                    #用html解析器
html = etree.parse(hello.html,parser=parser)              #.parse默认解析是以xml    我们要解析html就要改为HTML解析器
result = etree.tostring(html,pretty_print=True,encoding=utf-8).decode(utf-8)

print(result)

lxml结合xpath:

from lxml import etree

parser = etree.HTMLParser(encoding=utf-8)
html = etree.parse("tencent.html",parser=parser)

#1.获取所有tr标签
#trs = html.xpath("//tr")
#for tr in trs:
#    print(etree.tostring(tr,encoding=‘utf-8‘).decode("utf-8"))

#2.获得第2个tr标签
#tr = html.xpath("//tr[2]")[0]
#print(etree.tostring(tr,encoding=‘utf-8‘).decode("utf-8"))

#3.获取所有class等于even的tr标签
#trs = html.xpath("//tr[@class=‘even‘]")
#for tr in trs:
#    print(etree.tostring(tr,encoding=‘utf-8‘).decode("utf-8"))

#4.获取所有a标签的href属性
# trs = html.xpath("//a/@href")           #只选择href的值 跟上面不同的是不是一个标签内容
# for tr in trs:
#     print(tr)

#5.获取所有的职位信息(纯文本)
trs = html.xpath("//tr[position()>1]")
positions = []
for tr in trs:
    href = tr.xpath(".//a/@href")[0]           # .意思是在当前标签(第一个tr)下查找
    fullurl = "http://hr.tencent.com/" + href
    title = tr.xpath("./td[1]//text()")
    category = tr.xpath("./td[2]/text()")
    nums = tr.xpath("./td[3]/text()")
    address = tr.xpath("./td[4]/text()")
    pubtime = tr.xpath("./td[5]/text()")

    position = {
        url: fullurl,
        title: title,
        category: category,
        nums: nums,
        address:address,
        pubtime: pubtime
    }

    positions.append(position)
print(positions)

 

以上是关于lxml库的主要内容,如果未能解决你的问题,请参考以下文章

Python操作lxml库(基础篇)

python 3.6 lxml标准库lxml的安装及etree的使用注意

lxml解析库的安装和使用

python中lxml这个库主要是干啥的?

pycharm中lxml安装失败

Windows环境下使用pip install安装lxml库