python爬虫网页解析之parsel模块

Posted 2021-06-02 J哥。

一.parsel模块安装

官网链接https://pypi.org/project/parsel/1.0.2/

pip install parsel==1.0.2

二.模块作用

改模块主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配

推荐Python大牛在线分享技术 扣qun：855408893

领域：web开发，爬虫，数据分析，数据挖掘，人工智能

三.使用

import requests
import parsel

response = requests.get(url)
sel = parsel.Selector(response.text)  #注意这里的S要大写

# re正则
# print(sel.re('正则匹配格式'))

# xpath
# print(sel.xpath('xpath').getall()) #getall获取所有

# css选择器
# print(sel.css('css选择器 ::text').extract_first())#获取第一个