pyquery库和parsel库的使用

Posted 2022-09-16 web安全工具库

0x01 安装pyquery库

该库可以直接通过css选择器进行字符串查找

pip install pyquery

0x02 初始化操作

通过PyQuery初始化字符串

from pyquery import PyQuery
import requests


url = "https://www.dandanzan10.top/dianying/index.html"
heads = 
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',

r = requests.get(url, headers=heads)
str = r.text
res=PyQuery(str)
print(res)

0x03 获取电影名字

1、res('h2')：获取h2标签所有内容

2、text()将字符串内容打印出来

from pyquery import PyQuery
import requests


url = "https://www.dandanzan10.top/dianying/index.html"
heads = 
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',

r = requests.get(url, headers=heads)
str = r.text
res=PyQuery(str)
print(res('h2').text())


运行结果：  爱涌情现浪潮时 爱的锦囊妙计 铁血女王阿米娜：征战天下 我的老板是连环杀手 国际搜查 死亡血路 反恐追缉令 浅草小子 去海边 Reframe THEATER EXPERIENCE with you 凶宅怪谈 青涩的伤痛与脆弱 狂武藏 战地：异种浩劫 恋途未卜 窒恋 路的尽头 迷情杀机：卷土重来 BTS舞台舞蹈许可：首尔实时观看 父情难却 猎杀艾娃 最好的女友 匹诺曹 有一点动心

0x04 安装parsel库

该库是Scrapy框架的底层代码，Scrapy框架是一个爬虫框架，以后我们会详细解说。

pip install parsel

0x05 获取电影名字

1、通Selector初始化一下字符串

2、通过css获取h2标签的所有内容

3、通过xpath获取标签的字符串内容

from parsel import Selector
import requests


url = "https://www.dandanzan10.top/dianying/index.html"
heads = 
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',

r = requests.get(url, headers=heads)
str = r.text
sl=Selector(text=str)
res=sl.css('h2')
for i in res:
    text=i.xpath('.//text()').get()
    print(text)

0x06 声明

仅供安全研究与学习之用，若将工具做其他用途，由使用者承担全部法律及连带责任，作者不承担任何法律及连带责任。

欢迎关注公众号编程者吧