使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验
Posted 程序媛一枚~
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验相关的知识,希望对你有一定的参考价值。
写这篇博客源于 博友的提问
由于禁止反爬,所以返回的json格式是错误的,因此没法直接转换。
可以观察规律进行json串格式校正。json格式需要 [], [] 成对存在。
1. 效果图
简单看一下,格式是否正确;可以看到返回值中 [] 并不是成对存在的 观察结构对齐进行校正。
2. 源码
import json
import re # 正则匹配
import requests # 网络请求库
def catch_data():
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
# 发送请求
response = requests.get(url=url).json()
a = [m.start() for m in re.finditer("\\", response["data"])]
b = [m.start() for m in re.finditer("", response["data"])]
c = [m.start() for m in re.finditer("\\[", response["data"])]
d = [m.start() for m in re.finditer("]", response["data"])]
e = [m.start() for m in re.finditer("\\[\\", response["data"])]
f = [m.start() for m in re.finditer("]", response["data"])]
print("------------------------")
list = []
for i in b:
try:
dataStr = response['data'][:i] + ""
# print(dataStr)
data = json.loads(dataStr)
print(i, data['lastUpdateTime'])
# print(dataStr)
# break
except:
print('\\t', i, 'error', dataStr[-100:])
try:
dataStr = response['data'][:i] + "]"
# print(dataStr)
data = json.loads(dataStr)
list.append(data)
print(i, data['lastUpdateTime'])
except:
print('\\t\\t', i, 'error', dataStr[-100:])
print(len(response["data"]), a)
exp1 = lambda x: x[-1] if len(a) > 0 else None
return exp1(list)
data = catch_data()
print(data.keys())
lastUpdateTime = data["lastUpdateTime"]
print(lastUpdateTime)
以上是关于使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验的主要内容,如果未能解决你的问题,请参考以下文章