爬虫json数据的处理

Posted zenan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫json数据的处理相关的知识,希望对你有一定的参考价值。

在爬网页的过程中,最喜欢遇到的就是json数据接口,省了不少麻烦,但是json数据也有多种格式。

类型一:标准的json

技术分享图片

result = json.loads(html.text),将str转成python的dict类型

 

类型二:不是标准的json数据格式

而Callback括号里面的数据则是标准的json格式数据

技术分享图片

一种可行的方式就是正则,提取json数据中你所需要的字段。(其实也足够了)

还有一种思路就是仅仅提取出callback括号里面的内容,再进行转化。

 

以上是关于爬虫json数据的处理的主要内容,如果未能解决你的问题,请参考以下文章

python爬虫之json数据处理

爬虫基础

Python3 爬虫U21_json文件处理

Python爬虫编程思想(90):分析异步装载页面返回的json数据

Python爬虫编程思想(90):分析异步装载页面返回的json数据

爬虫:文件处理