爬虫利器pyquery使用介绍

Posted -fengmu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫利器pyquery使用介绍相关的知识,希望对你有一定的参考价值。

1.安装和引用

安装方法:

pip install pyquery 

引用方法:

from pyquery import PyQuery as pq

 

2.使用方法

2.1 初始化方法

from pyquery import PyQuery as pq
doc = pq(html) # 解析html字符串
print(doc)
url = "http://news.baidu.com/guonei"
doc = pq(url) # 解析网页
print(doc)
doc = pq("./a.html") #解析html文本
print(doc)

 2.2 基本用法

from pyquery import PyQuery as pq

html = """
<html lang="en">
    <div class ="py_divc" id="py_divi">
        <ul class="container">
            <li class="object-1" href="www.aaa.com">hello Python</li>
            <li class="object-2" href="www.bbb.com">大法</li>
            <li class="object-3" href="www.ccc.com">好</li>
        </ul>
    </div>
</html>
"""

doc = pq(html)
print(doc("#py_divi .container li"))

运行结果:

<li class="object-1" href="www.aaa.com">hello Python</li>
<li class="object-2" href="www.bbb.com">大法</li>
<li class="object-3" href="www.ccc.com">好</li>

# 是查找id的标签  .是查找class的标签  li 是查找li标签 中间空格表示里层

2.3 查找子元素

 

以上是关于爬虫利器pyquery使用介绍的主要内容,如果未能解决你的问题,请参考以下文章

芝麻HTTP: Python爬虫利器之PyQuery的用法

用pyquery5行代码爬取百度热点新闻

pyspider和pyquery总结

爬虫神器之PyQuery实用教程,50行代码爬取穷游网

python爬虫之pyquery学习

Python爬虫编程思想(63): pyquery基础知识