使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验

Posted 程序媛一枚~

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验相关的知识,希望对你有一定的参考价值。

写这篇博客源于 博友的提问

由于禁止反爬,所以返回的json格式是错误的,因此没法直接转换。

可以观察规律进行json串格式校正。json格式需要 [], [] 成对存在。

1. 效果图

简单看一下,格式是否正确;可以看到返回值中 [] 并不是成对存在的 观察结构对齐进行校正。

2. 源码

import json
import re  # 正则匹配

import requests  # 网络请求库


def catch_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    # 发送请求
    response = requests.get(url=url).json()

    a = [m.start() for m in re.finditer("\\", response["data"])]
    b = [m.start() for m in re.finditer("", response["data"])]
    c = [m.start() for m in re.finditer("\\[", response["data"])]
    d = [m.start() for m in re.finditer("]", response["data"])]
    e = [m.start() for m in re.finditer("\\[\\", response["data"])]
    f = [m.start() for m in re.finditer("]", response["data"])]

    print("------------------------")

    list = []
    for i in b:
        try:
            dataStr = response['data'][:i] + ""
            # print(dataStr)
            data = json.loads(dataStr)
            print(i, data['lastUpdateTime'])
            # print(dataStr)
            # break
        except:
            print('\\t', i, 'error', dataStr[-100:])
            try:
                dataStr = response['data'][:i] + "]"
                # print(dataStr)
                data = json.loads(dataStr)
                list.append(data)
                print(i, data['lastUpdateTime'])
            except:
                print('\\t\\t', i, 'error', dataStr[-100:])

    print(len(response["data"]), a)
    exp1 = lambda x: x[-1] if len(a) > 0 else None
    return exp1(list)


data = catch_data()
print(data.keys())
lastUpdateTime = data["lastUpdateTime"]
print(lastUpdateTime)

以上是关于使用Python爬取分析腾讯新冠疫情数据,并对json格式进行校验的主要内容,如果未能解决你的问题,请参考以下文章

每日一练:Python爬虫爬取全国新冠肺炎疫情数据实例详解,使用beautifulsoup4库实现

数据分析:新冠疫情实时数据爬取

数据分析:新冠疫情实时数据爬取

计算机毕业设计Python新冠疫情数据分析可视化平台

简单几行代码实现全国疫情数据可视化(Python课程设计)

基于SSM疫情信息爬取与分析系统