使用xpath提取页面所有a标签的href属性值

Posted 2020-11-23 zxfei

# -*- coding: utf-8 -*-

#1.选取节点
#获取所有的div元素 //div
#/代表获取根节点的直接子元素
#获取所有带有id属性的div //div[@id]
#2.谓词(索引从1开始)
#获取body下面的第一个/最后一个div元素/前两个 //body/div[1] //body/div[last()] //body/div[position<3]
#获取具有class='price'属性的div标签 //div[@class='price']
#3.通配符
# * |
#4.运算符 and or 

import requests
from lxml import etree

url = "http://www.baidu.com"
resp = requests.get(url)
resp.encoding="utf-8"

html = etree.HTML(resp.text)
#获取所有a标签的href属性
linklist = html.xpath("//a/@href")

for item in linklist:
    print(item)