详解Python中的序列化与反序列化的使用


Posted in Python onJune 30, 2015

学习过marshal模块用于序列化和反序列化,但marshal的功能比较薄弱,只支持部分内置数据类型的序列化/反序列化,对于用户自定义的类型就无能为力,同时marshal不支持自引用(递归引用)的对象的序列化。所以直接使用marshal来序列化/反序列化可能不是很方便。还好,python标准库提供了功能更加强大且更加安全的pickle和cPickle模块。

cPickle模块是使用C语言实现的,所以在运行效率上比pickle要高。但是cPickle模块中定义的类型不能被继承(其实大多数时候,我们不需要从这些类型中继承。)。cPickle和pickle的序列化/反序列化规则是一样的,我们可以使用pickle序列化一个对象,然后使用cPickle来反序列化。同时,这两个模块在处理自引用类型时会变得更加“聪明”,它不会无限制的递归序列化自引用对象,对于同一对象的多次引用,它只会序列化一次。例如:
 

import marshal, pickle
 
list = [1]
list.append(list)
byt1 = marshal.dumps(list) 
#出错, 无限制的递归序列化
byt2 = pickle.dumps(list) 
#No problem
pickle的序列化规则

Python规范(Python-specific)提供了pickle的序列化规则。这就不必担心不同版本的Python之间序列化兼容性问题。默认情况下,pickle的序列化是基于文本的,我们可以直接用文本编辑器查看序列化的文本。我们也可以序列成二进制格式的数据,这样的结果体积会更小。更详细的内容,可以参考Python手册pickle模块。

下面就开始使用pickle吧~
pickle.dump(obj, file[, protocol])

序列化对象,并将结果数据流写入到文件对象中。参数protocol是序列化模式,默认值为0,表示以文本的形式序列化。protocol的值还可以是1或2,表示以二进制的形式序列化。
pickle.load(file)

反序列化对象。将文件中的数据解析为一个Python对象。下面通过一个简单的例子来演示上面两个方法的使用:
 

#coding=gbk
 
import pickle, StringIO
 
class Person(object):
 
'''自定义类型。
 
'''
 def __init__(self, name, address):
  self.name = name
  self.address = address
  
  def display(self):
  print 'name:', self.name, 'address:', self.address 
 
jj = Person("JGood", "中国 杭州")
jj.display()
file = StringIO.StringIO()
 
pickle.dump(jj, file, 0) 
#序列化
#print file.getvalue() #打印序列化后的结果
  
#del Person #反序列的时候,必须能找到对应类的定义。否则反序列化操作失败。
file.seek(0)
jj1 = pickle.load(file) 
#反序列化
jj1.display()
file.close()

注意:在反序列化的时候,必须能找到对应类的定义,否则反序列化将失败。在上面的例子中,如果取消#del Person的注释,在运行时将抛AttributeError异常,提示当前模块找不到Person的定义。
pickle.dumps(obj[, protocol])
pickle.loads(string)

我们也可以直接获取序列化后的数据流,或者直接从数据流反序列化。方法dumps与loads就完成这样的功能。dumps返回序列化后的数据流,loads返回的序列化生成的对象。

python模块中还定义了两个类,分别用来序列化、反序列化对象。
class pickle.Pickler(file[, protocal]):

该类用于序列化对象。参数file是一个类文件对象(file-like object),用于保存序列化结果。可选参数表示序列化模式。它定义了两个方法:
dump(obj):

将对象序列化,并保存到类文件对象中。参数obj是要序列化的对象。
clear_memo()

清空pickler的“备忘”。使用Pickler实例在序列化对象的时候,它会“记住”已经被序列化的对象引用,所以对同一对象多次调用dump(obj),pickler不会“傻傻”的去多次序列化。下面是一个简单的例子:
 

#coding=gbk
import pickle, StringIO
 
class Person(object):
 
'''自定义类型。
 
'''
 def __init__(self, name, address):
  self.name = name
  self.address = address
  
 def display(self):
  print 'name:', self.name, 'address:', self.address 
   
fle = StringIO.StringIO()
pick = pickle.Pickler(fle)
person = Person("JGood", "Hangzhou China") 
 
pick.dump(person)
val1 = fle.getvalue()
print len(val1)
 
pick.clear_memo() 
#注释此句,再看看运行结果
 
pick.dump(person) 
#对同一引用对象再次进行序列化
val2 = fle.getvalue()
print len(val2)
 
#---- 结果 ----
#148
#296
#
#将这行代码注释掉:pick.clear_memo()
#结果为:
#148
#152
class pickle.Unpickler(file):

该类用于反序列化对象。参数file是一个类文件(file-like object)对象,Unpickler从该参数中获取数据进行反序列化。
load():

反序列化对象。该方法会根据已经序列化的数据流,自动选择合适的反序列化模式。
 

#.... 接上个例子中的代码
 
fle.seek(0)
unpick = pickle.Unpickler(fle)
print unpick.load()

上面介绍了pickle模块的基本使用,但和marshal一样,并不是所有的类型都可以通过pickle序列化的。例如对于一个嵌套的类型,使用pickle序列化就失败。例如:
 

class A(object):
 class B(object):
  def __init__(self, name):
   self.name = name
  
 def __init__(self):
  print 'init A'
 
b = A.B("my name")
print b
c = pickle.dumps(b, 0) 
#失败哦
print pickle.loads(c)

关于pickle支持的序列化类型,可以参考Python手册。

Python 相关文章推荐
Python 文件操作实现代码
Oct 07 Python
python实现apahce网站日志分析示例
Apr 02 Python
python中pandas.DataFrame的简单操作方法(创建、索引、增添与删除)
Mar 12 Python
详解python Todo清单实战
Nov 01 Python
python提取包含关键字的整行数据方法
Dec 11 Python
浅析Python 中几种字符串格式化方法及其比较
Jul 02 Python
python用match()函数爬数据方法详解
Jul 23 Python
python自定义时钟类、定时任务类
Feb 22 Python
python文字和unicode/ascll相互转换函数及简单加密解密实现代码
Aug 12 Python
python 读txt文件,按‘,’分割每行数据操作
Jul 05 Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 Python
python数字类型和占位符详情
Mar 13 Python
Python中函数的参数传递与可变长参数介绍
Jun 30 #Python
python实现文件快照加密保护的方法
Jun 30 #Python
Python实现高效求解素数代码实例
Jun 30 #Python
python实现DES加密解密方法实例详解
Jun 30 #Python
python实现的系统实用log类实例
Jun 30 #Python
python实现在windows服务中新建进程的方法
Jun 30 #Python
python实现线程池的方法
Jun 30 #Python
You might like
PHP 文件上传功能实现代码
2009/06/24 PHP
解析csv数据导入mysql的方法
2013/07/01 PHP
php目录遍历函数opendir用法实例
2014/11/20 PHP
动态表单验证的操作方法和TP框架里面的ajax表单验证
2017/07/19 PHP
JavaScript 检测浏览器和操作系统的脚本
2008/12/26 Javascript
详解JavaScript函数绑定
2013/08/18 Javascript
javascript中全局对象的isNaN()方法使用介绍
2013/12/19 Javascript
js类型转换与引用类型详解(Boolean_Number_String)
2014/03/07 Javascript
EasyUI,点击开启编辑框,并且编辑框获得焦点的方法
2015/03/01 Javascript
JS+CSS实现带有碰撞缓冲效果的竖向导航条代码
2015/09/15 Javascript
jQuery ajax请求返回list数据动态生成input标签,并把list数据赋值到input标签
2016/03/29 Javascript
JavaScript代码实现左右上下自动晃动自动移动
2016/04/08 Javascript
深入浅析JavaScript中的constructor
2016/04/19 Javascript
浅谈JavaScript for循环 闭包
2016/06/22 Javascript
js禁止浏览器的回退事件
2017/04/20 Javascript
webpack中如何加载静态文件的方法步骤
2019/05/18 Javascript
nest.js 使用express需要提供多个静态目录的操作方法
2019/10/24 Javascript
vue封装自定义指令之动态显示title操作(溢出显示,不溢出不显示)
2020/11/12 Javascript
[05:13]TI4 中国战队 机场出征!!
2014/07/07 DOTA
[01:00:44]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第三局
2016/03/04 DOTA
利用Python学习RabbitMQ消息队列
2015/11/30 Python
使用rst2pdf实现将sphinx生成PDF
2016/06/07 Python
彻底搞懂Python字符编码
2018/01/23 Python
python用户管理系统
2018/03/13 Python
python获取程序执行文件路径的方法(推荐)
2018/04/26 Python
python+numpy+matplotalib实现梯度下降法
2018/08/31 Python
使用python对多个txt文件中的数据进行筛选的方法
2019/07/10 Python
python实现人工蜂群算法
2020/09/18 Python
CSS3 @media的基本用法总结
2019/09/10 HTML / CSS
名词解释型面试题(主要是网络)
2013/12/27 面试题
应届生服务员求职信
2013/10/31 职场文书
第二课堂活动总结
2014/05/07 职场文书
计算机软件专业求职信
2014/06/10 职场文书
《穷人》教学反思
2016/02/19 职场文书
2016年学校党支部创先争优活动总结
2016/04/05 职场文书
使用react-virtualized实现图片动态高度长列表的问题
2021/05/28 Javascript