老生常谈Python序列化和反序列化


Posted in Python onJune 28, 2017

通过将对象序列化可以将其存储在变量或者文件中,可以保存当时对象的状态,实现其生命周期的延长。并且需要时可以再次将这个对象读取出来。Python中有几个常用模块可实现这一功能。

pickle模块

存储在变量中

dumps(obj)返回存入的字节

dic = {'age': 23, 'job': 'student'}
byte_data = pickle.dumps(dic)
# out -> b'\x80\x03}q\x00(X\x03\x00\x00\...'
print(byte_data)

读取数据

数据以字节保存在了byte_data变量中,需要再次使用的时候使用loads函数就行了。

obj = pickle.loads(byte_data)
print(obj)

存储在文件中

也可以存在文件中,使得对象持久化。使用的是dump和load函数,注意和上面的区别,少了s。由于pickle写入的是二进制数据,所以打开方式需要以wb和rb的模式。

# 序列化
with open('abc.pkl', 'wb') as f:
  dic = {'age': 23, 'job': 'student'}
  pickle.dump(dic, f)
# 反序列化
with open('abc.pkl', 'rb') as f:
  aa = pickle.load(f)
  print(aa)
  print(type(aa)) # <class 'dict'>

序列化用户自定义对象

假如我写了个类叫做Person

class Person:
  def __init__(self, name, age, job):
    self.name = name
    self.age = age
    self.job = job

  def work(self):
    print(self.name, 'is working...')

pickle当然也能写入,不仅可以写入类本身,也能写入它的一个实例。

# 将实例存储在变量中,当然也能存在文件中
a_person = Person('abc', 22, 'waiter')
person_abc = pickle.dumps(a_person)
p = pickle.loads(person_abc)
p.work()
# 将类本身存储在变量中,loads的时候返回类本身,而非它的一个实例
class_Person = pickle.dumps(Person)
Person = pickle.loads(class_Person)
p = Person('Bob', 23, 'Student')
p.work()

# 下面这个例子演示的就是将类存储在文件中
# 序列化
with open('person.pkl', 'wb') as f:
  pickle.dump(Person, f)
# 反序列化
with open('person.pkl', 'rb') as f:
  Person = pickle.load(f)
  aa = Person('gg', 23, '6')
  aa.work()

json模块

pickle可以很方便地序列化所有对象。不过json作为更为标准的格式,具有更好的可读性(pickle是二进制数据)和跨平台性。是个不错的选择。

json使用的四个函数名和pickle一致。

序列化为字符串

dic = {'age': 23, 'job': 'student'}
dic_str = json.dumps(dic)
print(type(dic_str), dic_str)
# out: <class 'str'> {"age": 23, "job": "student"}

dic_obj = json.loads(dic_str)
print(type(dic_obj), dic_obj)
# out: <class 'dict'> {'age': 23, 'job': 'student'}

可以看到,dumps函数将对象转换成了字符串。loads函数又将其恢复成字典。

存储为json文件

也可以存储在json文件中

dic = {'age': 23, 'job': 'student'}
with open('abc.json', 'w', encoding='utf-8') as f:
  json.dump(dic, f)

with open('abc.json', encoding='utf-8') as f:
  obj = json.load(f)
  print(obj)

存储自定义对象

还是上面的Person对象。如果直接序列化会报错

aa = Person('Bob', 23, 'Student')
with open('abc.json', 'w', encoding='utf-8') as f:
  json.dump(aa, f) # 报错

Object of type 'Person' is not JSON serializable此时dump函数里传一个参default就可以了,这个参数接受一个函数,这个函数可以将对象转换为字典。

写一个就是了

def person2dict(person):
  return {'name': person.name,
      'age': person.age,
      'job': person.job}

这样返回的就是一个字典了,对象实例有个方法可以简化这一过程。直接调用实例的__dict__。例如

print(aa.__dict) # {'name': 'Bob', 'age': 23, 'job': 'Student'}

很方便。

同时在读取的时候load出来的是一个字典,再转回对象就可,同样需要一个object_hook参数,该参数接收一个函数,用于将字典转为对象。

def dict2person(dic):
  return Person(dic['name'], dic['age'], dic['job'])

于是完整的程序应该写成下面这样

with open('abc.json', 'w', encoding='utf-8') as f:
  json.dump(aa, f, default=person2dict)

with open('abc.json', encoding='utf-8') as f:
  obj = json.load(f, object_hook=dict2person)
  print(obj.name, obj.age, obj.job)
  obj.work()

由于可以使用__dict__代替person2dict函数,再使用lambda函数简化。

with open('abc.json', 'w', encoding='utf-8') as f:
  json.dump(aa, f, default=lambda obj: obj.__dict__)

以上是存储到文件,存储到变量也是类似操作。

不过就我现在所学,不知道如何像pickle一样方便的将我们自定义的类本身使用json序列化,或许要用到其他扩展函数。以后用到了再说。

shelve模块

还有一个模块,不太常用,通常使用一个open就好。shelve以键值对的形式存储数据。

with shelve.open('aa') as f:
  f['person'] = {'age': 23, 'job': 'student'}
  f['person']['age'] = 44 # 这里试图改变原来的年龄23
  f['numbers'] = [i for i in range(10)]

with shelve.open('aa') as f:
  person = f['person']
  print(person) # {'age': 23, 'job': 'student'}
  nums = f['numbers']
  print(nums) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

文件不要有后缀名,在windows下会生成aa.bak, aa.dat, aa.dir三个文件(有点多)。其中bak和dir文件是可以查看的(貌似两个文件内容一样)在下面这个例子中生成这样的数据。

'person', (0, 44)
'numbers', (512, 28)

允许写回--writeback

有个细节,我们读取键person时候,发现age还是23岁,f['person']['age'] = 44后并没有变成44。下面的写法

with shelve.open('aa', writeback=True) as f:
  dic = {'age': 23, 'job': 'student'}
  f['person'] = dic
  dic['age'] = 44
  f['person'] = dic

相当于赋值了两次,这种方法是可以改变值的。

默认情况下直接使用f['person']改变其中的值之后,不会更新已存储的值,也就是没有把更新写回到文件,即使是文件被close后。如果有此需要,在open函数中添加一个参数writeback=True。再次运行下看看年龄就被改变了。

写入自定义对象

依然使用上面的Person对象

with shelve.open('aa') as f:
  f['class'] = Person
  
# 写入类本身
with shelve.open('aa') as f:
  Person = f['class']
  a = Person('Bob', 23, 'Student')
  a.work()

上面的例子说明shelve也可以序列化类本身。当然序列化实例肯定可以。

with shelve.open('aa') as f:
  a = Person('God', 100, 'watch')
  f['class'] = a

with shelve.open('aa') as f:
  god = f['class']
  god.work()

注意,由于我们使用with open打开,故不用写close语句,此模块是有close函数的,如果不是with方法打开的一定要记得主动close。

以上这篇老生常谈Python序列化和反序列化就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中内建函数的简单用法说明
May 05 Python
python爬虫实例详解
Jun 19 Python
pymysql模块的使用(增删改查)详解
Sep 09 Python
Python3 pandas 操作列表实例详解
Sep 23 Python
Python读取实时数据流示例
Dec 02 Python
Python字典深浅拷贝与循环方式方法详解
Feb 09 Python
python selenium自动化测试框架搭建的方法步骤
Jun 14 Python
自学python用什么系统好
Jun 23 Python
Pytorch 高效使用GPU的操作
Jun 27 Python
Python sublime安装及配置过程详解
Jun 29 Python
python报错: 'list' object has no attribute 'shape'的解决
Jul 15 Python
python识别围棋定位棋盘位置
Jul 26 Python
python flask实现分页效果
Jun 27 #Python
Django自定义分页效果
Jun 27 #Python
Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)
Jun 27 #Python
最近Python有点火? 给你7个学习它的理由!
Jun 26 #Python
Python的装饰器使用详解
Jun 26 #Python
Python学习思维导图(必看篇)
Jun 26 #Python
python flask 多对多表查询功能
Jun 25 #Python
You might like
Terran建筑一览
2020/03/14 星际争霸
用PHP ob_start()控制浏览器cache、生成html实现代码
2010/02/16 PHP
PHP中的MYSQL常用函数(php下操作数据库必备)
2010/09/12 PHP
PHP更新购物车数量(表单部分/PHP处理部分)
2013/05/03 PHP
PHP连接MySQL查询结果中文显示乱码解决方法
2013/10/25 PHP
php微信公众号开发之翻页查询
2018/10/20 PHP
php输出文字乱码的解决方法
2019/10/04 PHP
jquery.post用法示例代码
2014/01/03 Javascript
JavaScript异步回调的Promise模式封装实例
2014/06/07 Javascript
推荐 21 款优秀的高性能 Node.js 开发框架
2014/08/18 Javascript
JQuery实现带排序功能的权限选择实例
2015/05/18 Javascript
JavaScript数组各种常见用法实例分析
2015/08/04 Javascript
基于jQuery全屏焦点图左右切换插件responsiveslides
2015/09/07 Javascript
jQuery EasyUI 入门必看
2016/06/03 Javascript
浅谈JS读取DOM对象(标签)的自定义属性
2016/11/21 Javascript
jquery滚动条插件(可以自定义)
2016/12/11 Javascript
微信小程序 switch组件详解及简单实例
2017/01/10 Javascript
深入解析nodejs HTTP服务
2017/07/25 NodeJs
详解Angular系列之变化检测(Change Detection)
2018/02/26 Javascript
[52:09]2014 DOTA2华西杯精英邀请赛 5 25 NewBee VS DK第二场
2014/05/26 DOTA
跟老齐学Python之做一个小游戏
2014/09/28 Python
Python 反转字符串(reverse)的方法小结
2018/02/20 Python
python3 selenium 切换窗口的几种方法小结
2018/05/21 Python
Python tkinter的grid布局及Text动态显示方法
2018/10/11 Python
Python实现打包成库供别的模块调用
2020/07/13 Python
python识别验证码的思路及解决方案
2020/09/13 Python
Supersmart英国:欧洲市场首批食品补充剂供应商之一
2018/05/05 全球购物
Java面向对象面试题
2016/12/26 面试题
祖国在我心中演讲稿
2014/01/15 职场文书
高一政治教学反思
2014/01/28 职场文书
自查自纠工作总结
2014/10/15 职场文书
搞笑老公保证书
2015/02/26 职场文书
2015暑期社会实践调查报告
2015/07/14 职场文书
python批量创建变量并赋值操作
2021/06/03 Python
python区块链持久化和命令行接口实现简版
2022/05/25 Python
css中有哪些方式可以隐藏页面元素及区别
2022/06/16 HTML / CSS