爬虫小技巧总结

Posted 2022-01-02 向阳-Y.

定位技巧篇

etree定位：

from lxml import etree
tree = etree.html(response)
public_key = tree.xpath('//input[@id="e"]/@value')[0]

遇到字典数据格式可以转成json，并一层层剥离进行定位：

import json
do=json.loads(raw_json)#转换为json数据
data_list=do['data']['response']['videos']

遇到不干净的字典数据可以先进行整理，并一层层剥离

KZLoginHandler.jsonpCallbackKongZ(“dc”:“3D819DDC47FD044C38DB02DA22DC1F2C”,“kzmsg”:"",“service”:“https://passport.kongzhong.com/”,“state”:“0”)

import re
import json
re = 'KZLoginHandler.jsonpCallbackKongZ\\((.*?)\\)'
raw_json = re.findall(re.raw_json)
do=json.loads(raw_json)#转换为json数据
data_list = do['dc']

re，正则表达式定位：

import re
ex = 'var rsa_n = "(.*?)";'
re.findall(ex,response)[0]     #正则返回的是一个列表，这里取值第1个元素即可