scrapt中的数据提取，采用js2xml库

Posted 2021-01-14 zengsf

这个一个爬去美团的例子，应为数据都是在script中，小心封ip，尽量少运行。

先导入库几个库

import requests
from bs4 import BeautifulSoup
from lxml import etree
import js2xml

发送请求，获取到script里面的数据

url = "https://sz.meituan.com/meishi/"
headers = {}
response = requests.get(url, headers = headers)
content = response.text
bs = BeautifulSoup(content, "lxml")
l = bs.select("body script")[13].string  #获取到body中第十三个script里面的数据

然后在利用js2xml方法格式化之后再利用xpath来提取数据

src_text = js2xml.parse(l, encoding=‘utf-8‘, debug=False)
print(type(src_text))
src_tree = js2xml.pretty_print(src_text)
print(src_tree)
selector = etree.html(src_tree)
content = selector.xpath(‘//property[@name="poiId"]/number/@value‘)
name = selector.xpath(‘//property[@name="title"]/string/text()‘)

就ok了