关于爬取数据保存到json文件,中文是unicode解决方式

Posted dragonbird

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于爬取数据保存到json文件,中文是unicode解决方式相关的知识,希望对你有一定的参考价值。

流程:

 爬取的数据处理为列表,包含字典。里面包含中文,

经过json.dumps,保存到json文件中,

发现里面的中文显示未\ue768这样子

查阅资料发现,json.dumps 有一个参数。ensure_ascii =true,  它会将不是ascii字符的转义为json 字符串。

如果是false ,不是ascii字符的会包含在里面,即如果是中文就会保存中文。

但是我认为json这样写是有道理的。

用requests模块,

requests.post(url,json=handled_data)

所以在接收方

数据在request.body, 是bytes类型,

先转为str,类型,然后loads(str_data,encoding=‘utf-8‘)

 

以上是关于关于爬取数据保存到json文件,中文是unicode解决方式的主要内容,如果未能解决你的问题,请参考以下文章

爬取京东乱码问题

解决Scrapy抓取中文网页保存为json文件时中文不显示而是显示unicode的问题

java http post 上传json 数据,utf8编码的中文 保存到数据库后都变成/uxxxx那种unicode格式

将unicode象形图保存到mysql

关于json转义中文

解决Python3将数据保存为json,中文显示为Unicode编码的问题