2023爬虫学习笔记 -- 优化xpath解析代码

Posted 2023-03-05 web安全工具库

一、目标网站

https://www.aqistudy.cn/historydata/

二、分析要获取数据，热门城市、全部城市

三、代码实现

1、获取网页源码

import requests
目标地址="https://www.aqistudy.cn/historydata/"
头=
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/86.0.4240.198 Safari/537.36"

响应内容=requests.get(url=目标地址,headers=头).text
print(响应内容)

2、程序有个错误提示，这个提示需要在请求参数上多添加一个值，verify=False，或者将https变为http

响应内容=requests.get(url=目标地址,headers=头,verify=False).text

3、通过xpath解析出热门城市

解析数据=etree.HTML(响应内容)
热门城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[1]/div[2]/ul/li')
for i in 热门城市:
    print(i.xpath("./a/text()")[0])

4、通过xpath解析出全部城市

解析数据=etree.HTML(响应内容)
全部城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[2]/div[2]/ul/div[2]/li')
for i in 全部城市:
    print(i.xpath("./a/text()")[0])

5、第三步和第四步代码重复，可以通过管道符号“|”将两个表达分割，代码如下

解析数据=etree.HTML(响应内容)
城市=解析数据.xpath('/html/body/div[3]/div/div[1]/div[1]/div[2]/ul/li | /html/body/div[3]/div/div[1]/div[2]/div[2]/ul/div[2]/li')
for i in 城市:
    print(i.xpath("./a/text()")[0])

6、运行结果

仅供学习交流，勿作他用