序列化Python对象的方法


Posted in Python onAugust 01, 2020

问题

你需要将一个Python对象序列化为一个字节流,以便将它保存到一个文件、存储到数据库或者通过网络传输它。

解决方案

对于序列化最普遍的做法就是使用 pickle 模块。为了将一个对象保存到一个文件中,可以这样做:

import pickle

data = ... # Some Python object
f = open('somefile', 'wb')
pickle.dump(data, f)

为了将一个对象转储为一个字符串,可以使用 pickle.dumps()

s = pickle.dumps(data)

为了从字节流中恢复一个对象,使用 pickle.load() pickle.loads() 函数。比如:

# Restore from a file
f = open('somefile', 'rb')
data = pickle.load(f)

# Restore from a string
data = pickle.loads(s)

讨论

对于大多数应用程序来讲,dump() load() 函数的使用就是你有效使用 pickle 模块所需的全部了。 它可适用于绝大部分Python数据类型和用户自定义类的对象实例。 如果你碰到某个库可以让你在数据库中保存/恢复Python对象或者是通过网络传输对象的话, 那么很有可能这个库的底层就使用了 pickle 模块。

pickle 是一种Python特有的自描述的数据编码。 通过自描述,被序列化后的数据包含每个对象开始和结束以及它的类型信息。 因此,你无需担心对象记录的定义,它总是能工作。 举个例子,如果要处理多个对象,你可以这样做:

>>> import pickle
>>> f = open('somedata', 'wb')
>>> pickle.dump([1, 2, 3, 4], f)
>>> pickle.dump('hello', f)
>>> pickle.dump({'Apple', 'Pear', 'Banana'}, f)
>>> f.close()
>>> f = open('somedata', 'rb')
>>> pickle.load(f)
[1, 2, 3, 4]
>>> pickle.load(f)
'hello'
>>> pickle.load(f)
{'Apple', 'Pear', 'Banana'}
>>>

你还能序列化函数,类,还有接口,但是结果数据仅仅将它们的名称编码成对应的代码对象。例如:

>>> import math
>>> import pickle.
>>> pickle.dumps(math.cos)
b'\x80\x03cmath\ncos\nq\x00.'
>>>

当数据反序列化回来的时候,会先假定所有的源数据时可用的。 模块、类和函数会自动按需导入进来。对于Python数据被不同机器上的解析器所共享的应用程序而言, 数据的保存可能会有问题,因为所有的机器都必须访问同一个源代码。

千万不要对不信任的数据使用pickle.load()。
pickle在加载时有一个副作用就是它会自动加载相应模块并构造实例对象。
但是某个坏人如果知道pickle的工作原理,
他就可以创建一个恶意的数据导致Python执行随意指定的系统命令。
因此,一定要保证pickle只在相互之间可以认证对方的解析器的内部使用。

有些类型的对象是不能被序列化的。这些通常是那些依赖外部系统状态的对象, 比如打开的文件,网络连接,线程,进程,栈帧等等。 用户自定义类可以通过提供 __getstate__() __setstate__() 方法来绕过这些限制。 如果定义了这两个方法,pickle.dump() 就会调用 __getstate__() 获取序列化的对象。 类似的,__setstate__() 在反序列化时被调用。为了演示这个工作原理, 下面是一个在内部定义了一个线程但仍然可以序列化和反序列化的类:

# countdown.py
import time
import threading

class Countdown:
  def __init__(self, n):
    self.n = n
    self.thr = threading.Thread(target=self.run)
    self.thr.daemon = True
    self.thr.start()

  def run(self):
    while self.n > 0:
      print('T-minus', self.n)
      self.n -= 1
      time.sleep(5)

  def __getstate__(self):
    return self.n

  def __setstate__(self, n):
    self.__init__(n)

试着运行下面的序列化试验代码:

>>> import countdown
>>> c = countdown.Countdown(30)
>>> T-minus 30
T-minus 29
T-minus 28
...

>>> # After a few moments
>>> f = open('cstate.p', 'wb')
>>> import pickle
>>> pickle.dump(c, f)
>>> f.close()

然后退出Python解析器并重启后再试验下:

>>> f = open('cstate.p', 'rb')
>>> pickle.load(f)
countdown.Countdown object at 0x10069e2d0>
T-minus 19
T-minus 18
...

你可以看到线程又奇迹般的重生了,从你第一次序列化它的地方又恢复过来。

pickle 对于大型的数据结构比如使用 arraynumpy 模块创建的二进制数组效率并不是一个高效的编码方式。 如果你需要移动大量的数组数据,你最好是先在一个文件中将其保存为数组数据块或使用更高级的标准编码方式如HDF5 (需要第三方库的支持)。

由于 pickle 是Python特有的并且附着在源码上,所有如果需要长期存储数据的时候不应该选用它。 例如,如果源码变动了,你所有的存储数据可能会被破坏并且变得不可读取。 坦白来讲,对于在数据库和存档文件中存储数据时,你最好使用更加标准的数据编码格式如XML,CSV或JSON。 这些编码格式更标准,可以被不同的语言支持,并且也能很好的适应源码变更。

最后一点要注意的是 pickle 有大量的配置选项和一些棘手的问题。 对于最常见的使用场景,你不需要去担心这个,但是如果你要在一个重要的程序中使用pickle去做序列化的话, 最好去查阅一下 官方文档 。

以上就是序列化Python对象的方法的详细内容,更多关于序列化Python对象的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
浅析python参数的知识点
Dec 10 Python
Python两个字典键同值相加的几种方法
Mar 05 Python
Python pandas DataFrame操作的实现代码
Jun 21 Python
python实现人工智能Ai抠图功能
Sep 05 Python
Python绘制热力图示例
Sep 27 Python
python实现输入的数据在地图上生成热力图效果
Dec 06 Python
Python Numpy 控制台完全输出ndarray的实现
Feb 19 Python
Python Tkinter图形工具使用方法及实例解析
Jun 15 Python
Python tkinter制作单机五子棋游戏
Sep 14 Python
python批量生成条形码的示例
Oct 10 Python
pytorch 实现变分自动编码器的操作
May 24 Python
pytorch 如何使用float64训练
May 24 Python
Python 忽略文件名编码的方法
Aug 01 #Python
Python 如何展开嵌套的序列
Aug 01 #Python
Python 日期与时间转换的方法
Aug 01 #Python
Python 执行矩阵与线性代数运算
Aug 01 #Python
Python实现数字的格式化输出
Aug 01 #Python
Python实现一个简单的递归下降分析器
Aug 01 #Python
Python 如何在字符串中插入变量
Aug 01 #Python
You might like
php基础知识:函数基础知识
2006/12/13 PHP
PHP 输出缓存详解
2009/06/20 PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
2013/07/18 PHP
Laravel 4 初级教程之Pages、表单验证
2014/10/30 PHP
用PHP代码在网页上生成图片
2015/07/01 PHP
js 操作css实现代码
2009/06/11 Javascript
html+js实现动态显示本地时间
2013/09/21 Javascript
js中判断用户输入的值是否为空的简单实例
2013/12/23 Javascript
javascript的alert box在java中如何显示多行
2014/05/18 Javascript
关于javaScript注册click事件传递参数的不成功问题
2014/07/18 Javascript
jQuery根据ID获取input、checkbox、radio、select的示例
2014/08/11 Javascript
javascript实现捕捉键盘上按下的键
2015/05/05 Javascript
jquery form表单获取内容以及绑定数据
2016/02/24 Javascript
js 获取范围内的随机数实例代码
2016/08/02 Javascript
jQuery如何封装输入框插件
2016/08/19 Javascript
最全面的JS倒计时代码
2016/09/17 Javascript
Javascript 判断两个IP是否在同一网段实例代码
2016/11/28 Javascript
详解jquery validate实现表单验证 (正则表达式)
2017/01/18 Javascript
微信小程序 ES6Promise.all批量上传文件实现代码
2017/04/14 Javascript
原生JS实现ajax与ajax的跨域请求实例
2017/12/01 Javascript
jQuery获取随机颜色的实例代码
2018/05/21 jQuery
nodejs二进制与Buffer的介绍与使用
2019/07/11 NodeJs
微信小程序实现弹框效果
2020/05/26 Javascript
jQuery cookie的公共方法封装和使用示例
2020/06/01 jQuery
Python 通过URL打开图片实例详解
2017/06/01 Python
Python使用Matplotlib实现Logos设计代码
2017/12/25 Python
Python中最大递归深度值的探讨
2019/03/05 Python
详解torch.Tensor的4种乘法
2020/09/03 Python
Python爬虫教程知识点总结
2020/10/19 Python
python 元组和列表的区别
2020/12/30 Python
市场专员岗位职责
2014/02/14 职场文书
竞选劳动委员演讲稿
2014/04/28 职场文书
导师就业推荐信范文
2014/05/22 职场文书
邀请函怎么写
2015/01/30 职场文书
Github 使用python对copilot做些简单使用测试
2022/04/14 Python
MySQL数据库如何查看表占用空间大小
2022/06/10 MySQL