Python中使用pickle持久化对象

Posted 2021-11-23 andy-0212

Python中可以使用 pickle 模块将对象转化为文件保存在磁盘上，在需要的时候再读取并还原。具体用法如下：

1	pickle.dump(obj, file[, protocol])

这是将对象持久化的方法，参数的含义分别为：
obj: 要持久化保存的对象；
file: 一个拥有 write() 方法的对象，并且这个 write() 方法能接收一个字符串作为参数。这个对象可以是一个以写模式打开的文件对象或者一个 StringIO 对象，或者其他自定义的满足条件的对象。
protocol: 这是一个可选的参数，默认为 0 ，如果设置为 1 或 True，则以高压缩的二进制格式保存持久化后的对象，否则以ASCII格式保存。

对象被持久化后怎么还原呢？pickle 模块也提供了相应的方法，如下：

1	pickle.load(file)

只有一个参数 file ，对应于上面 dump 方法中的 file 参数。这个 file 必须是一个拥有一个能接收一个整数为参数的 read() 方法以及一个不接收任何参数的 readline() 方法，并且这两个方法的返回值都应该是字符串。这可以是一个打开为读的文件对象、StringIO 对象或其他任何满足条件的对象。

下面是一个基本的用例：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

# -*- coding: utf-8 -*-   import pickle # 也可以这样： # import cPickle as pickle   obj = {"a": 1, "b": 2, "c": 3}   # 将 obj 持久化保存到文件 tmp.txt 中 pickle.dump(obj, open("tmp.txt", "w"))   # do something else ...   # 从 tmp.txt 中读取并恢复 obj 对象 obj2 = pickle.load(open("tmp.txt", "r"))   print obj2

不过实际应用中，我们可能还会有一些改进，比如用 cPickle 来代替 pickle ，前者是后者的一个 C 语言实现版本，拥有更快的速度，另外，有时在 dump 时也会将第三个参数设为 True 以提高压缩比。再来看下面的例子：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

# -*- coding: utf-8 -*-   import cPickle as pickle import random import os   import time   LENGTH = 1024 * 10240   def main():     d = {}     a = []     for i in range(LENGTH):         a.append(random.randint(0, 255))           d["a"] = a           print "dumping..."           t1 = time.time()     pickle.dump(d, open("tmp1.dat", "wb"), True)     print "dump1: %.3fs" % (time.time() - t1)           t1 = time.time()     pickle.dump(d, open("tmp2.dat", "w"))     print "dump2: %.3fs" % (time.time() - t1)           s1 = os.stat("tmp1.dat").st_size     s2 = os.stat("tmp2.dat").st_size           print "%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 / s2)           print "loading..."           t1 = time.time()     obj1 = pickle.load(open("tmp1.dat", "rb"))     print "load1: %.3fs" % (time.time() - t1)           t1 = time.time()     obj2 = pickle.load(open("tmp2.dat", "r"))     print "load2: %.3fs" % (time.time() - t1)     if __name__ == "__main__":     main()

在我的电脑上执行结果为：

dumping…
dump1: 1.297s
dump2: 4.750s
20992503, 68894198, 30.47%
loading…
load1: 2.797s
load2: 10.125s

可以看到，dump 时如果指定了 protocol 为 True，压缩过后的文件的大小只有原来的文件的 30% ，同时无论在 dump 时还是 load 时所耗费的时间都比原来少。因此，一般来说，可以建议把这个值设为 True 。

另外，pickle 模块还提供 dumps 和 loads 两个方法，用法与上面的 dump 和 load 方法类似，只是不需要输入 file 参数，输入及输出都是字符串对象，有些场景中使用这两个方法可能更为方便。