关于爬取数据保存到json文件,中文是unicode解决方式
Posted dragonbird
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于爬取数据保存到json文件,中文是unicode解决方式相关的知识,希望对你有一定的参考价值。
流程:
爬取的数据处理为列表,包含字典。里面包含中文,
经过json.dumps,保存到json文件中,
发现里面的中文显示未\ue768这样子
查阅资料发现,json.dumps 有一个参数。ensure_ascii =true, 它会将不是ascii字符的转义为json 字符串。
如果是false ,不是ascii字符的会包含在里面,即如果是中文就会保存中文。
但是我认为json这样写是有道理的。
用requests模块,
requests.post(url,json=handled_data)
所以在接收方
数据在request.body, 是bytes类型,
先转为str,类型,然后loads(str_data,encoding=‘utf-8‘)
以上是关于关于爬取数据保存到json文件,中文是unicode解决方式的主要内容,如果未能解决你的问题,请参考以下文章
解决Scrapy抓取中文网页保存为json文件时中文不显示而是显示unicode的问题
java http post 上传json 数据,utf8编码的中文 保存到数据库后都变成/uxxxx那种unicode格式