python学习——xpath
Posted bilx
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python学习——xpath相关的知识，希望对你有一定的参考价值。
回顾
- 5种反爬机制
- robots.txt：反爬机制，防君子不防小人
- UA检测：UA伪装
- 数据加密
- 图片懒加载
- 代理ip
- requests模块爬取流程：
- 指定url
- 发起请求
- 获取页面数据
- 数据解析
- 持久化存储
- bs4解析：
- 环境安装：bs4、lxml解析器
- 实例化bs对象，将页面源码数据加载到该对象中
- 定位标签
- find(‘a‘,class_=‘xxx‘)
- findall()
- select()
- 大于号，一个层级
- 空格，多个层级
- 将标签中的文本内容获取
- string 返回标签下文本内容
- text 返回标签下所有字标签问本内容
- get_text()
- 获取属性
- a[‘href‘]
xpath使用（【重点】xpath表达式）
- 环境安装：pip install lxml
- 解析原理：
- 获取页面源码数据
- 实例化一个etree的对象，并且将页码源数据加载到该对象中
- 调用该对象的xpath方法进行制定标签的定位
- 【注意】xpath函数必须结合着xpath表达式进行标签定位和内容捕获
- 将html文档或xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
- 本地文件：tree = etree.parse(文件名）
tree.xpath(‘xpath表达式‘) - 网络数据：tree = etree.HTML(网页内容字符串)
tree.xpath(‘xpath表达式‘)
- 本地文件：tree = etree.parse(文件名）
xpath表达式
- / 层级之间的关系
- / 相当于bs4中select中的>
- // 相当于bs4-select中的空格
- 举例：
- /html/head/title 从根目录开始找，html下的 head标签下的 title标签
- //head/title 先找到当前源码中所有的head标签，在找到head标签下的title标签
- //title 找到所有title标签
- 属性定位：
- //div[@class=‘song‘] 定位所有class属性值为song的div标签；[]中必须跟@符号,属性名称前必须有@【语法结构】,返回的是列表
- 层级&索引定位：
- //div[@class=‘tang‘]/ul/li[2]/a 定位所有class属性值为tong的div直系标签 ul标签下的 第二个li标签下的直系字标签 a标签；
- 逻辑运算：
- //a[@href=‘‘ and @class=‘du‘] 定位所有href属性值为空且class属性值为du的所有a标签
- 模糊匹配：
- //div[contain(@class,‘ng‘)] 定位class属性值包含ng的所有div标签
- //div[start-with(@class,‘ta)] 定位class属性值以ta开头的所有div标签
- 取文本
- 表示获取某个标签下的文本内容
- 表示获取某个标签下的文本内容和所有子标签下的文本内容
- //div[@class=‘song‘]/p[1]/text() 获取class属性值为song的所有div标签下的 第一个p字标签 包含的文本
- //div[@class=‘tang]//text() 获取class属性值为tang的所有div标签下的 所有文本，及其字标签下的所有文本，返回的是列表，列表里有多个列表元素
- 取属性
- //div[@class=‘tang‘]//li[2]/a/@href 返回属性对应的属性值
案例：获取58二手房相关房源信息
In [1]:
import requests
from lxml import etree
url = ‘https://bj.58.com/beijingzhoubian/ershoufang/?PGTID=0d30000c-0000-1175-8e33-a6e941f8aff5&ClickID=1‘
headers =
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER‘
# 获取源码数据
page_text = requests.get(url=url,headers=headers).text
# 实例化etree对象
tree = etree.HTML(page_text)
# 调用xpath方法,后去li标签列表
li_list = tree.xpath(‘//ul[@class="house-list-wrap"]/li‘)
fp = open(‘58.csv‘,‘w‘,encoding=‘utf-8‘)
#遍历列表
for li in li_list:
# .开头的意思：进行局部页面解析;./开头表示从li标签开始解析
title = li.xpath(‘./div[2]/h2/a/text()‘)[0]
price = li.xpath(‘./div[3]//text()‘)
#将价格的三个列表拼接为字符串
price = ‘‘.join(price)
fp.write(title+‘:‘+price+‘\n‘)
fp.close()
print(‘over‘)
案例：获取图片
In [27]:
import requests
from lxml import etree
import os
import urllib
url = ‘http://pic.netbian.com/4kmeinv/‘
headers =
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER‘
response = requests.get(url=url,headers=headers)
#response.encoding = ‘utf-8‘
if not os.path.exists(‘./imgs‘):
os.mkdir(‘./imgs‘)
page_text = response.text
tree = etree.HTML(page_text)
li_list = tree.xpath(‘//dic[@class="slist"]/ul/li‘) # //dic[@class="slist"]//li
for li in li_list:
img_name = li.xpath(‘./a/b/text()‘)[0]
# 处理中文乱码
img_name = img_name.encode(‘iso-8859-1‘).decode(‘gbk‘)
img_url = ‘http://pic.netbian.com‘ + li.xpath(‘./a/img/@src‘)[0]
img_path = ‘./imgs/‘ + img_name + ‘.jpg‘
urllib.request.urlretrieve(url=img_url,filename=img_path)
print(img_path,‘下载成功‘)
案例：煎蛋网中图片数据：http://jandan.net/ooxx
- 第三种反爬机制：数据加密
In [6]:
import requests
from lxml import etree
import base64
import urllib
headers =
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER‘
url = ‘http://jandan.net/ooxx‘
page_text = requests.get(url=url,headers=headers).text
tree = etree.HTML(page_text)
img_hash_list = tree.xpath(‘//span[@class="img-hash"]/text()‘)
for img_hash in img_hash_list:
img_url = ‘http:‘ + base64.b64decode(img_hash).decode()
img_name = img_url.split(‘/‘)[-1]
urllib.request.urlretrieve(url=img_url,filename=img_name)
爬取站长素材中的简历模板
In [12]:
import requests
from lxml import etree
import random
headers =
‘Connection‘:‘close‘,# 当请求成功后，马上断开该次请求（及时释放请求池中的资源））
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER‘
url = ‘http://sc.chinaz.com/jianli/free-%d.html‘
for page in range(1,4):
if page == 1:
new_url = ‘http://sc.chinaz.com/jianli/free.html‘
else:
new_url = format(url%page)
response = requests.get(url=new_url,headers=headers)
response.encoding = ‘utf-8‘
page_text = response.text
tree = etree.HTML(page_text)
div_list = tree.xpath(‘//div[@id="container"]/div‘)
for div in div_list:
detail_url = div.xpath(‘./a/@href‘)[0]
name = div.xpath(‘./a/img/@alt‘)[0]
detail_page = requests.get(url=detail_url,headers=headers).text
tree = etree.HTML(detail_page)
download_list = tree.xpath(‘//div[@class="clearfix mt20 downlist"]/ul/li/a/@href‘)
download_url = random.choice(download_list)
data = requests.get(url=download_url,headers=headers).content
file_name = name + ‘.rar‘
with open(file_name,‘wb‘) as fp:
fp.write(data)
print(file_name,‘下载成功‘)