时间:2021-05-22
Python中可以使用 pickle 模块将对象转化为文件保存在磁盘上,在需要的时候再读取并还原。具体用法如下:
pickle是Python库中常用的序列化工具,可以将内存对象以文本或二进制格式导出为字符串,或者写入文档。后续可以从字符或文档中还原为内存对象。新版本的Python中用c重新实现了一遍,叫cPickle,性能更高。 下面的代码演示了pickle库的常用接口用法,非常简单:
pickle.dump(obj, file[, protocol])
这是将对象持久化的方法,参数的含义分别为:
对象被持久化后怎么还原呢?pickle 模块也提供了相应的方法,如下:
pickle.load(file)
只有一个参数 file ,对应于上面 dump 方法中的 file 参数。这个 file 必须是一个拥有一个能接收一个整数为参数的 read() 方法以及一个不接收任何参数的 readline() 方法,并且这两个方法的返回值都应该是字符串。这可以是一个打开为读的文件对象、StringIO 对象或其他任何满足条件的对象。
下面是一个基本的用例:
# -*- coding: utf-8 -*-import pickle# 也可以这样:# import cPickle as pickleobj = {"a": 1, "b": 2, "c": 3}# 将 obj 持久化保存到文件 tmp.txt 中pickle.dump(obj, open("tmp.txt", "w"))# do something else ...# 从 tmp.txt 中读取并恢复 obj 对象obj2 = pickle.load(open("tmp.txt", "r"))print obj2# -*- coding: utf-8 -*- import pickle# 也可以这样:# import cPickle as pickle obj = {"a": 1, "b": 2, "c": 3} # 将 obj 持久化保存到文件 tmp.txt 中pickle.dump(obj, open("tmp.txt", "w")) # do something else ... # 从 tmp.txt 中读取并恢复 obj 对象obj2 = pickle.load(open("tmp.txt", "r")) print obj2不过实际应用中,我们可能还会有一些改进,比如用 cPickle 来代替 pickle ,前者是后者的一个 C 语言实现版本,拥有更快的速度,另外,有时在 dump 时也会将第三个参数设为 True 以提高压缩比。再来看下面的例子:
# -*- coding: utf-8 -*-import cPickle as pickleimport randomimport osimport timeLENGTH = 1024 * 10240def main(): d = {} a = [] for i in range(LENGTH): a.append(random.randint(0, 255)) d["a"] = a print "dumping..." t1 = time.time() pickle.dump(d, open("tmp1.dat", "wb"), True) print "dump1: %.3fs" % (time.time() - t1) t1 = time.time() pickle.dump(d, open("tmp2.dat", "w")) print "dump2: %.3fs" % (time.time() - t1) s1 = os.stat("tmp1.dat").st_size s2 = os.stat("tmp2.dat").st_size print "%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 / s2) print "loading..." t1 = time.time() obj1 = pickle.load(open("tmp1.dat", "rb")) print "load1: %.3fs" % (time.time() - t1) t1 = time.time() obj2 = pickle.load(open("tmp2.dat", "r")) print "load2: %.3fs" % (time.time() - t1)if __name__ == "__main__": main()# -*- coding: utf-8 -*- import cPickle as pickleimport randomimport os import time LENGTH = 1024 * 10240 def main(): d = {} a = [] for i in range(LENGTH): a.append(random.randint(0, 255)) d["a"] = a print "dumping..." t1 = time.time() pickle.dump(d, open("tmp1.dat", "wb"), True) print "dump1: %.3fs" % (time.time() - t1) t1 = time.time() pickle.dump(d, open("tmp2.dat", "w")) print "dump2: %.3fs" % (time.time() - t1) s1 = os.stat("tmp1.dat").st_size s2 = os.stat("tmp2.dat").st_size print "%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 / s2) print "loading..." t1 = time.time() obj1 = pickle.load(open("tmp1.dat", "rb")) print "load1: %.3fs" % (time.time() - t1) t1 = time.time() obj2 = pickle.load(open("tmp2.dat", "r")) print "load2: %.3fs" % (time.time() - t1) if __name__ == "__main__": main()在我的电脑上执行结果为:
dumping…dump1: 1.297sdump2: 4.750s20992503, 68894198, 30.47%loading…load1: 2.797sload2: 10.125s可以看到,dump 时如果指定了 protocol 为 True,压缩过后的文件的大小只有原来的文件的 30% ,同时无论在 dump 时还是 load 时所耗费的时间都比原来少。因此,一般来说,可以建议把这个值设为 True 。
另外,pickle 模块还提供 dumps 和 loads 两个方法,用法与上面的 dump 和 load 方法类似,只是不需要输入 file 参数,输入及输出都是字符串对象,有些场景中使用这两个方法可能更为方便。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文研究的主要是Python使用pickle模块存储数据报错解决方法,以代码的形式展示,具体如下。首先来了解下pickle模块pickle提供了一个简单的持久化
本文实例讲述了Python数据持久化shelve模块用法。分享给大家供大家参考,具体如下:一、简介在python3中我们使用json或者pickle持久化数据,
python3shelve模块的详解一、简介 在python3中我们使用json或者pickle持久化数据,能dump多次,但只能load一次,因为先前的数据
本文实例讲述了Python使用pickle模块实现序列化功能。分享给大家供大家参考,具体如下:Python内置的pickle模块能够将Python对象序列成字节
1.pickle对象串行化pickle模块实现了一个算法可以将任意的Python对象转换为一系列字节。这个过程也被称为串行化对象。可以传输或存储表示对象的字节流