第四篇 爬虫技术之PyQuery 实战篇
Posted python编程军火库
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第四篇 爬虫技术之PyQuery 实战篇相关的知识，希望对你有一定的参考价值。
hello,各位小伙伴，大家好，今天我们分享一下pyquery 如何获取你想要的元素或者说想要的文本信息的。
本次我们主要是给出在工程开发中的比较常用的一些case出来，后续我呢会带着大家一起用今天学到的东西去抓取天天基金网上有意思的基金数据。
d=pq("<html><title>hello</title></html>")
d=pq(filename=path_to_html_file)
d=pq(url='http://www.baidu.com')注意：此处url似乎必须写全
2.html()和text() ——获取相应的HTML块或文本块，
p=pq("<head><title>hello</title></head>")
p('head').html()#返回<title>hello</title>
p('head').text()#返回hello
3.根据HTML标签来获取元素，
d=pq('<div><p>test 1</p><p>test 2</p></div>')
d('p')#返回[<p>,<p>]
print d('p')#返回<p>test 1</p><p>test 2</p>
print d('p').html()#返回test 1
注意：当获取到的元素不只一个时，html()、text()方法只返回首个元素的相应内容块
4.eq(index) ——根据给定的索引号得到指定元素
接上例，若想得到第二个p标签内的内容，则可以：
print d('p').eq(1).html() #返回test 2
5.filter() ——根据类名、id名得到指定元素，例：
d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")
d('p').filter('#1') #返回[<p#1>]
d('p').filter('.2') #返回[<p.2>]
6.find() ——查找嵌套元素
d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")
d('div').find('p')#返回[<p#1>, <p.2>]
d('div').find('p').eq(0)#返回[<p#1>]
7.直接根据类名、id名获取元素
d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")
d('#1').html()#返回test 1
d('.2').html()#返回test 2
8.获取属性值
d=pq("<p id='my_id'><a href='http://hello.com'>hello</a></p>")
d('a').attr('href')#返回http://hello.com
d('p').attr('id')#返回my_id
9.修改属性值
d('a').attr('href', 'http://baidu.com')把href属性修改为了baidu
10.addClass(value) ——为元素添加类
d=pq('<div></div>')
d.addClass('my_class')#返回[<div.my_class>]
11.hasClass(name) #返回判断元素是否包含给定的类
d=pq("<div class='my_class'></div>")
d.hasClass('my_class')#返回True
12.children(selector=None) ——获取子元素
d=pq("<span><p id='1'>hello</p><p id='2'>world</p></span>")
d.children()#返回[<p#1>, <p#2>]
d.children('#2')#返回[<p#2>]
13.parents(selector=None)——获取父元素
d=pq("<span><p id='1'>hello</p><p id='2'>world</p></span>")
d('p').parents()#返回[<span>]
d('#1').parents('span')#返回[<span>]
d('#1').parents('p')#返回[]
14.clone() ——返回一个节点的拷贝
15.empty() ——移除节点内容
16.nextAll(selector=None) ——返回后面全部的元素块
d=pq("<p id='1'>hello</p><p id='2'>world</p><img scr='' />")
d('p:first').nextAll()#返回[<p#2>, <img>]
d('p:last').nextAll()#返回[<img>]
17.not_(selector) ——返回不匹配选择器的元素
d=pq("<p id='1'>test 1</p><p id='2'>test 2</p>")
d('p').not_('#2')#返回[<p#1>]
18.遍历：
遍历用到items方法返回对象列表，或者用lambda
# !/usr/bin/python
"""
@File : pyquery_demo.py
@Time : 2019/8/31 16:46
@Author : haishiniu
@Software: PyCharm
"""
from pyquery import pyquery as pq
doc = pq('<div><ul><li>h1</li><li>h2</li></ul></div>')
list = doc('li')
for li in list.items():
print(li.html)
好了，本期的分享到此结束，下期我们会结合实际的网站内容用我们本节的内容进行实战抓取，敬请期待！
当你发现自己的才华撑不起野心时，请安静的坐下来学习吧。
------还是牛
以上是关于第四篇 爬虫技术之PyQuery 实战篇的主要内容，如果未能解决你的问题，请参考以下文章