json与pickle模块

Posted 2020-12-06 mini猪猪侠

什么是序列化 & 反序列化

序列化 指的是 把内存的数据类型 转换成一个 特定的格式的内容

改格式的内容 可用于 存储或者传输给其他平台使用

序列化：内存中的数据类型 ==> 序列化 ==> 特定的格式（json格式 或 pickle格式）

反序列化：特定的格式（json格式 或 pickle格式） ==> 序列化 ==> 内存中的数据类型

土办法：

# {‘aaa‘:111} ==> 序列化 str({‘aaa‘:111}) ==> "{‘aaa‘:111}"
# "{‘aaa‘:111}" ==> 反序列化 eval({‘aaa‘:111}) ==> {‘aaa‘:111}

 

为什么要有序列化

序列化得到的结果 ==> 特定的格式的内容有2种用途

#         1.可用于存储 ==> 用于存档
#         2.传输给其他平台使用 ==> 跨平台数据交互
#         Python                      Java
#          列表       特定的格式        数组

强调：

针对用途1的特定——格式：这是一种专用的格式==>pickle只有Python可以识别

针对用途2的特定——格式：应该是一种通用，能够被所有语言识别的格式==>json

#       只是自己存档自己用：用pickle
#       存档==>自己用

如何序列化与反序列化

import json

json_res = json.dumps(True)
print(json_res,type(json_res))    # 序列化 输出：true <class ‘str‘>
import json

json_res = json.dumps([1, ‘aaa‘, True, False])
print(json_res, type(json_res))    # 序列化 输出：[1, "aaa", true, false] <class ‘str‘>
import json

l = json.loads(json_res)
print(l, type(l))           # 反序列化 输出：[1, ‘aaa‘, True, False] <class ‘list‘>

 

序列化的结果写入文件的复杂方法

# 序列化
import json

json_res = json.dumps([1, ‘aaa‘, True, False])
with open(‘test.json‘, mode=‘wt‘, encoding=‘UTF-8‘) as f1:
    f1.write(json_res)

 

将序列化的结果写入文件的简单方法

# 序列化的简单方法
import json

with open(‘test.json‘, mode=‘wt‘, encoding=‘UTF-8‘) as f1:
    json.dump([1, ‘aaa‘, True, False], f1)

 

从文件读取json格式的字符串进行反序列化操作的复杂方法

# 反序列化
import json

with open(‘test.json‘, mode=‘rt‘, encoding=‘UTF-8‘) as f:
    json_res = f.read()
    l = json.loads(json_res)
    print(l, type(l))

 

从文件读取json格式的字符串进行反序列化操作的简单方法

# 反序列化的简单方法
import json

with open(‘test.json‘, mode=‘rt‘, encoding=‘UTF-8‘) as f:
    l = json.loads(f)
    print(l, type(l))

 

json补充：

json验证：json格式兼容的是所有语言通用的数据类型，不能兼容某一语言特有的格式

import json

json.dumps({1, 2, 3, 4, 5})     # TypeError: Object of type set is not JSON serializable类型为set的对象不是JSON可序列化的

 

json强调：json格式没有单引号，只有双引号

import json

l = json.loads(‘[1, "aaa", true, false]‘)
print(l)    # 输出：[1, ‘aaa‘, True, False]

 

json了解：Python3.6之后：json自动encode和decode了

import json

with open(‘test.json‘,mode=‘rb‘) as f:
    l=json.load(f)
    print(l)    # [1, ‘aaa‘, True, False]

l1 = json.loads(b‘[1, "aaa", true, false]‘)
print(l1, type(l1))    # 输出：[1, ‘aaa‘, True, False]

res = json.dumps({‘哈哈‘:‘ahha‘})
print(res, type(res))

l1 = json.loads(‘{"u54c8u54c8": "ahha"}‘)
l2 = json.loads(b‘{"u54c8u54c8": "ahha"}‘)
print(l1)
print(l2)

猴子布丁

import json
import ujson

def monkey_patch_json():
    json.__name__ = ‘ujson‘
    json.dumps = ujson.dumps
    json.loads = ujson.loads

monkey_patch_json()     # 在入口处执行
# json.dumps = 其他的更好的dumps功能
# json.loads = 其他的更好的loads功能

json.dumps()
json.loads()

pickle模块

import pickle

dic = {‘name‘: ‘alvin‘, ‘age‘: 23, ‘sex‘: ‘male‘}

print(type(dic))  # <class ‘dict‘>

j = pickle.dumps(dic)
print(type(j))  # <class ‘bytes‘>

f = open(‘序列化对象_pickle‘, ‘wb‘)  # 注意是w是写入str,wb是写入bytes,j是‘bytes‘
f.write(j)  # -------------------等价于pickle.dump(dic,f)

f.close()
# -------------------------反序列化
import pickle

f = open(‘序列化对象_pickle‘, ‘rb‘)

data = pickle.loads(f.read())  # 等价于data=pickle.load(f)

print(data[‘age‘])
import pickle

with open(‘a.pkl‘,mode=‘wb‘) as f:
    # 一：在python3中执行的序列化操作如何兼容python2
    # python2不支持protocol>2，默认python3中protocol=4
    # 所以在python3中dump操作应该指定protocol=2
    pickle.dump(‘你好啊‘,f,protocol=2)

with open(‘a.pkl‘, mode=‘rb‘) as f:
    # 二：python2中反序列化才能正常使用
    res=pickle.load(f)
    print(res)