19-json与pickle模块

Posted 2020-11-27 Jil-Menzerna

一、json模块

1.1 什么是序列化&反序列化

内存中的数据类型---->序列化---->特定的格式（json格式或者pickle格式）
内存中的数据类型<----反序列化<----特定的格式（json格式或者pickle格式）

土办法：
{\'aaa\':111}--->序列化str({\'aaa\':111})----->"{\'aaa\':111}"
{\'aaa\':111}<---反序列化eval("{\'aaa\':111}")<-----"{\'aaa\':111}"

1.2 为何要序列化

序列化得到结果=>特定的格式的内容有两种用途
1、可用于存储=》用于存档
2、传输给其他平台使用=》跨平台数据交互
     python                 java
      列表     特定的格式      数组

强调：
    针对用途1的特定一格式：可是一种专用的格式=》pickle只有python可以识别
    针对用途2的特定一格式：应该是一种通用、能够被所有语言识别的格式=》json

1.3 如何序列化与反序列化

# 示范1
import json
# 序列化
json_res=json.dumps([1,\'aaa\',True,False])
print(json_res,type(json_res)) # "[1, "aaa", true, false]"
#
# 反序列化
l=json.loads(json_res)
print(l,type(l))

1、序列化写入文件

 

import json

# 序列化的结果写入文件的复杂方法
json_res=json.dumps([1,\'aaa\',True,False])
# print(json_res,type(json_res)) # "[1, "aaa", true, false]"
with open(\'test.json\',mode=\'wt\',encoding=\'utf-8\') as f:
    f.write(json_res)

# 将序列化的结果写入文件的简单方法
with open(\'test.json\',mode=\'wt\',encoding=\'utf-8\') as f:
    json.dump([1,\'aaa\',True,False],f)

 

2、反序列化读取文件

 

# 从文件读取json格式的字符串进行反序列化操作的复杂方法
with open(\'test.json\',mode=\'rt\',encoding=\'utf-8\') as f:
    json_res=f.read()
    l=json.loads(json_res)
    print(l,type(l))

# 从文件读取json格式的字符串进行反序列化操作的简单方法
with open(\'test.json\',mode=\'rt\',encoding=\'utf-8\') as f:
    l=json.load(f)
    print(l,type(l))

 

 

 

1.4 json格式

1、json格式不可与python混淆，str为双引号。

2、json中只有以上格式，不能识别某一语言所独有的类型。

import json
# json验证: json格式兼容的是所有语言通用的数据类型，不能识别某一语言的所独有的类型
# json.dumps({1,2,3,4,5})                           # error: Object of type set is not JSON serializable

# json强调：一定要搞清楚json格式，不要与python混淆
l=json.loads(\'[1, "aaa", true, false]\')             # corroct
l=json.loads("[1,1.3,true,\'aaa\', true, false]")     # error:json.decoder.JSONDecodeError: Expecting value: line 1 column 13 (char 12)
print(l[0])

 

 

 

 

3、json在python3.5以后，可以识别bytes类型，但只可读，不可写。（wb模式下，不可直接使用 json.dump(user_dict,f)，其内部会将user_dict转换成str再写入，而此时系统分配的文件权限是b模式）

4、在json中出现中文，会以Unicode的二进制编码以字符串类型存入

l = json.loads(b\'[1, "aaa", true, false]\')
print(l, type(l))
#
with open(\'test.json\',mode=\'rb\') as f:
    l=json.load(f)


res=json.dumps({\'name\':\'哈哈哈\'})
print(res,type(res))            # {"name": "\\u54c8\\u54c8\\u54c8"} <class \'str\'>

res=json.loads(\'{"name": "\\u54c8\\u54c8\\u54c8"}\')
print(res,type(res))            # {\'name\': \'哈哈哈\'} <class \'dict\'>

 

 1.5 猴子补丁

在入口处打猴子补丁，不用改原代码，也无须在子文件中处处改为 import ujson as json

# 在入口处打猴子补丁
import json
import ujson

def monkey_patch_json():
    json.__name__ = \'ujson\'
    json.dumps = ujson.dumps
    json.loads = ujson.loads

monkey_patch_json()     # 在入口文件出运行

 

 二、pickle 模块

内存中的数据类型---->序列化---->特定的格式（json格式或者pickle格式）
内存中的数据类型<----反序列化<----特定的格式（json格式或者pickle格式）
pickle为python可识别的，且无类型限制。

import pickle
 
dic={\'name\':\'alvin\',\'age\':23,\'sex\':\'male\'}
 
print(type(dic))#<class \'dict\'>
 
j=pickle.dumps(dic)
print(type(j))#<class \'bytes\'>
 
 
f=open(\'序列化对象_pickle\',\'wb\')#注意是w是写入str,wb是写入bytes,j是\'bytes\'
f.write(j)  #-------------------等价于pickle.dump(dic,f)
 
f.close()
#-------------------------反序列化
import pickle
f=open(\'序列化对象_pickle\',\'rb\')
 
data=pickle.loads(f.read())#  等价于data=pickle.load(f)
 
 
print(data[\'age\'])

 

python2 python3 兼容性问题

# coding:utf-8
import pickle

with open(\'a.pkl\',mode=\'wb\') as f:
    # 一：在python3中执行的序列化操作如何兼容python2
    # python2不支持protocol>2，默认python3中protocol=4
    # 所以在python3中dump操作应该指定protocol=2
    pickle.dump(\'你好啊\',f,protocol=2)

with open(\'a.pkl\', mode=\'rb\') as f:
    # 二：python2中反序列化才能正常使用
    res=pickle.load(f)
    print(res)

python2与python3的pickle兼容性问题

 

 

 三、XML

现在已逐渐被淘汰，详细可参照这篇博客：https://www.cnblogs.com/linhaifeng/articles/6384466.html#_label8