详解Python中的序列化与反序列化的使用


Posted in Python onJune 30, 2015

学习过marshal模块用于序列化和反序列化,但marshal的功能比较薄弱,只支持部分内置数据类型的序列化/反序列化,对于用户自定义的类型就无能为力,同时marshal不支持自引用(递归引用)的对象的序列化。所以直接使用marshal来序列化/反序列化可能不是很方便。还好,python标准库提供了功能更加强大且更加安全的pickle和cPickle模块。

cPickle模块是使用C语言实现的,所以在运行效率上比pickle要高。但是cPickle模块中定义的类型不能被继承(其实大多数时候,我们不需要从这些类型中继承。)。cPickle和pickle的序列化/反序列化规则是一样的,我们可以使用pickle序列化一个对象,然后使用cPickle来反序列化。同时,这两个模块在处理自引用类型时会变得更加“聪明”,它不会无限制的递归序列化自引用对象,对于同一对象的多次引用,它只会序列化一次。例如:
 

import marshal, pickle
 
list = [1]
list.append(list)
byt1 = marshal.dumps(list) 
#出错, 无限制的递归序列化
byt2 = pickle.dumps(list) 
#No problem
pickle的序列化规则

Python规范(Python-specific)提供了pickle的序列化规则。这就不必担心不同版本的Python之间序列化兼容性问题。默认情况下,pickle的序列化是基于文本的,我们可以直接用文本编辑器查看序列化的文本。我们也可以序列成二进制格式的数据,这样的结果体积会更小。更详细的内容,可以参考Python手册pickle模块。

下面就开始使用pickle吧~
pickle.dump(obj, file[, protocol])

序列化对象,并将结果数据流写入到文件对象中。参数protocol是序列化模式,默认值为0,表示以文本的形式序列化。protocol的值还可以是1或2,表示以二进制的形式序列化。
pickle.load(file)

反序列化对象。将文件中的数据解析为一个Python对象。下面通过一个简单的例子来演示上面两个方法的使用:
 

#coding=gbk
 
import pickle, StringIO
 
class Person(object):
 
'''自定义类型。
 
'''
 def __init__(self, name, address):
  self.name = name
  self.address = address
  
  def display(self):
  print 'name:', self.name, 'address:', self.address 
 
jj = Person("JGood", "中国 杭州")
jj.display()
file = StringIO.StringIO()
 
pickle.dump(jj, file, 0) 
#序列化
#print file.getvalue() #打印序列化后的结果
  
#del Person #反序列的时候,必须能找到对应类的定义。否则反序列化操作失败。
file.seek(0)
jj1 = pickle.load(file) 
#反序列化
jj1.display()
file.close()

注意:在反序列化的时候,必须能找到对应类的定义,否则反序列化将失败。在上面的例子中,如果取消#del Person的注释,在运行时将抛AttributeError异常,提示当前模块找不到Person的定义。
pickle.dumps(obj[, protocol])
pickle.loads(string)

我们也可以直接获取序列化后的数据流,或者直接从数据流反序列化。方法dumps与loads就完成这样的功能。dumps返回序列化后的数据流,loads返回的序列化生成的对象。

python模块中还定义了两个类,分别用来序列化、反序列化对象。
class pickle.Pickler(file[, protocal]):

该类用于序列化对象。参数file是一个类文件对象(file-like object),用于保存序列化结果。可选参数表示序列化模式。它定义了两个方法:
dump(obj):

将对象序列化,并保存到类文件对象中。参数obj是要序列化的对象。
clear_memo()

清空pickler的“备忘”。使用Pickler实例在序列化对象的时候,它会“记住”已经被序列化的对象引用,所以对同一对象多次调用dump(obj),pickler不会“傻傻”的去多次序列化。下面是一个简单的例子:
 

#coding=gbk
import pickle, StringIO
 
class Person(object):
 
'''自定义类型。
 
'''
 def __init__(self, name, address):
  self.name = name
  self.address = address
  
 def display(self):
  print 'name:', self.name, 'address:', self.address 
   
fle = StringIO.StringIO()
pick = pickle.Pickler(fle)
person = Person("JGood", "Hangzhou China") 
 
pick.dump(person)
val1 = fle.getvalue()
print len(val1)
 
pick.clear_memo() 
#注释此句,再看看运行结果
 
pick.dump(person) 
#对同一引用对象再次进行序列化
val2 = fle.getvalue()
print len(val2)
 
#---- 结果 ----
#148
#296
#
#将这行代码注释掉:pick.clear_memo()
#结果为:
#148
#152
class pickle.Unpickler(file):

该类用于反序列化对象。参数file是一个类文件(file-like object)对象,Unpickler从该参数中获取数据进行反序列化。
load():

反序列化对象。该方法会根据已经序列化的数据流,自动选择合适的反序列化模式。
 

#.... 接上个例子中的代码
 
fle.seek(0)
unpick = pickle.Unpickler(fle)
print unpick.load()

上面介绍了pickle模块的基本使用,但和marshal一样,并不是所有的类型都可以通过pickle序列化的。例如对于一个嵌套的类型,使用pickle序列化就失败。例如:
 

class A(object):
 class B(object):
  def __init__(self, name):
   self.name = name
  
 def __init__(self):
  print 'init A'
 
b = A.B("my name")
print b
c = pickle.dumps(b, 0) 
#失败哦
print pickle.loads(c)

关于pickle支持的序列化类型,可以参考Python手册。

Python 相关文章推荐
用实例说明python的*args和**kwargs用法
Nov 01 Python
Django中实现点击图片链接强制直接下载的方法
May 14 Python
python实现维吉尼亚加密法
Mar 20 Python
使用python制作一个为hex文件增加版本号的脚本实例
Jun 12 Python
通过pycharm使用git的步骤(图文详解)
Jun 13 Python
python aiohttp的使用详解
Jun 20 Python
python实现根据文件格式分类
Oct 31 Python
Python如何输出整数
Jun 07 Python
python opencv pytesseract 验证码识别的实现
Aug 28 Python
Pytho爬虫中Requests设置请求头Headers的方法
Sep 22 Python
如何创建一个Flask项目并进行简单配置
Nov 18 Python
pytest配置文件pytest.ini的详细使用
Apr 17 Python
Python中函数的参数传递与可变长参数介绍
Jun 30 #Python
python实现文件快照加密保护的方法
Jun 30 #Python
Python实现高效求解素数代码实例
Jun 30 #Python
python实现DES加密解密方法实例详解
Jun 30 #Python
python实现的系统实用log类实例
Jun 30 #Python
python实现在windows服务中新建进程的方法
Jun 30 #Python
python实现线程池的方法
Jun 30 #Python
You might like
Linux Apache PHP Oracle 安装配置(具体操作步骤)
2013/06/17 PHP
Yii2中多表关联查询hasOne hasMany的方法
2017/02/15 PHP
php数值转换时间及时间转换数值用法示例
2017/05/18 PHP
ie和firefox不兼容的解决方法集合
2009/04/28 Javascript
JavaScript中使用构造函数实现继承的代码
2010/08/12 Javascript
获得所有表单值的JQuery实现代码[IE暂不支持]
2012/05/24 Javascript
JS实现图片翻书效果示例代码
2013/09/09 Javascript
jQuery绑定事件不执行但alert后可以正常执行
2014/06/03 Javascript
JavaScript阻止浏览器返回按钮的方法
2015/03/18 Javascript
提高jQuery性能优化的技巧
2015/08/03 Javascript
基于JS实现PHP的sprintf函数实例
2015/11/14 Javascript
JS模拟实现方法重载示例
2016/08/03 Javascript
利用jQuery插件imgAreaSelect实现图片上传裁剪(放大缩小)
2016/12/02 Javascript
js实现开启密码大写提示
2016/12/21 Javascript
js实现图片左右滚动效果
2017/02/27 Javascript
详解vue-cli中的ESlint配置文件eslintrc.js
2017/09/25 Javascript
Vue2 配置 Axios api 接口调用文件的方法
2017/11/13 Javascript
微信小程序获取手机网络状态的方法【附源码下载】
2017/12/08 Javascript
Node.js中sequelize时区的配置方法
2017/12/10 Javascript
浅谈vue同一页面中拥有两个表单时,的验证问题
2018/09/18 Javascript
详解解决小程序中webview页面多层history返回问题
2019/08/20 Javascript
[01:31:22]DOTA2-DPC中国联赛定级赛 LBZS vs Magma BO3第二场 1月10日
2021/03/11 DOTA
Python中标准库OS的常用方法总结大全
2017/07/19 Python
Selenium鼠标与键盘事件常用操作方法示例
2018/08/13 Python
浅谈Python 列表字典赋值的陷阱
2019/01/20 Python
中国电视购物:快乐购
2017/02/04 全球购物
比较基础的php面试题及答案-编程题
2012/10/14 面试题
Delphi CS笔试题
2014/01/04 面试题
开业典礼主持词
2014/03/21 职场文书
网络营销策划方案
2014/06/04 职场文书
委托书范本
2014/09/13 职场文书
租车协议书范本2014
2014/11/17 职场文书
2015年仓库管理员工作总结
2015/04/21 职场文书
简历上的自我评价,该怎么写呢?
2019/06/13 职场文书
Python 循环读取数据内存不足的解决方案
2021/05/25 Python
Mysql将字符串按照指定字符分割的正确方法
2022/05/30 MySQL