使用Python爬取分析腾讯新冠疫情数据，并对json格式进行校验

Posted 2022-12-14 程序媛一枚~

写这篇博客源于 博友的提问

由于禁止反爬，所以返回的json格式是错误的，因此没法直接转换。

可以观察规律进行json串格式校正。json格式需要 [], [] 成对存在。

1. 效果图

简单看一下，格式是否正确；可以看到返回值中 [] 并不是成对存在的 观察结构对齐进行校正。

2. 源码

import json
import re  # 正则匹配

import requests  # 网络请求库


def catch_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    # 发送请求
    response = requests.get(url=url).json()

    a = [m.start() for m in re.finditer("\\", response["data"])]
    b = [m.start() for m in re.finditer("", response["data"])]
    c = [m.start() for m in re.finditer("\\[", response["data"])]
    d = [m.start() for m in re.finditer("]", response["data"])]
    e = [m.start() for m in re.finditer("\\[\\", response["data"])]
    f = [m.start() for m in re.finditer("]", response["data"])]

    print("------------------------")

    list = []
    for i in b:
        try:
            dataStr = response['data'][:i] + ""
            # print(dataStr)
            data = json.loads(dataStr)
            print(i, data['lastUpdateTime'])
            # print(dataStr)
            # break
        except:
            print('\\t', i, 'error', dataStr[-100:])
            try:
                dataStr = response['data'][:i] + "]"
                # print(dataStr)
                data = json.loads(dataStr)
                list.append(data)
                print(i, data['lastUpdateTime'])
            except:
                print('\\t\\t', i, 'error', dataStr[-100:])

    print(len(response["data"]), a)
    exp1 = lambda x: x[-1] if len(a) > 0 else None
    return exp1(list)


data = catch_data()
print(data.keys())
lastUpdateTime = data["lastUpdateTime"]
print(lastUpdateTime)