序列化Python对象的方法


Posted in Python onAugust 01, 2020

问题

你需要将一个Python对象序列化为一个字节流,以便将它保存到一个文件、存储到数据库或者通过网络传输它。

解决方案

对于序列化最普遍的做法就是使用 pickle 模块。为了将一个对象保存到一个文件中,可以这样做:

import pickle

data = ... # Some Python object
f = open('somefile', 'wb')
pickle.dump(data, f)

为了将一个对象转储为一个字符串,可以使用 pickle.dumps()

s = pickle.dumps(data)

为了从字节流中恢复一个对象,使用 pickle.load() pickle.loads() 函数。比如:

# Restore from a file
f = open('somefile', 'rb')
data = pickle.load(f)

# Restore from a string
data = pickle.loads(s)

讨论

对于大多数应用程序来讲,dump() load() 函数的使用就是你有效使用 pickle 模块所需的全部了。 它可适用于绝大部分Python数据类型和用户自定义类的对象实例。 如果你碰到某个库可以让你在数据库中保存/恢复Python对象或者是通过网络传输对象的话, 那么很有可能这个库的底层就使用了 pickle 模块。

pickle 是一种Python特有的自描述的数据编码。 通过自描述,被序列化后的数据包含每个对象开始和结束以及它的类型信息。 因此,你无需担心对象记录的定义,它总是能工作。 举个例子,如果要处理多个对象,你可以这样做:

>>> import pickle
>>> f = open('somedata', 'wb')
>>> pickle.dump([1, 2, 3, 4], f)
>>> pickle.dump('hello', f)
>>> pickle.dump({'Apple', 'Pear', 'Banana'}, f)
>>> f.close()
>>> f = open('somedata', 'rb')
>>> pickle.load(f)
[1, 2, 3, 4]
>>> pickle.load(f)
'hello'
>>> pickle.load(f)
{'Apple', 'Pear', 'Banana'}
>>>

你还能序列化函数,类,还有接口,但是结果数据仅仅将它们的名称编码成对应的代码对象。例如:

>>> import math
>>> import pickle.
>>> pickle.dumps(math.cos)
b'\x80\x03cmath\ncos\nq\x00.'
>>>

当数据反序列化回来的时候,会先假定所有的源数据时可用的。 模块、类和函数会自动按需导入进来。对于Python数据被不同机器上的解析器所共享的应用程序而言, 数据的保存可能会有问题,因为所有的机器都必须访问同一个源代码。

千万不要对不信任的数据使用pickle.load()。
pickle在加载时有一个副作用就是它会自动加载相应模块并构造实例对象。
但是某个坏人如果知道pickle的工作原理,
他就可以创建一个恶意的数据导致Python执行随意指定的系统命令。
因此,一定要保证pickle只在相互之间可以认证对方的解析器的内部使用。

有些类型的对象是不能被序列化的。这些通常是那些依赖外部系统状态的对象, 比如打开的文件,网络连接,线程,进程,栈帧等等。 用户自定义类可以通过提供 __getstate__() __setstate__() 方法来绕过这些限制。 如果定义了这两个方法,pickle.dump() 就会调用 __getstate__() 获取序列化的对象。 类似的,__setstate__() 在反序列化时被调用。为了演示这个工作原理, 下面是一个在内部定义了一个线程但仍然可以序列化和反序列化的类:

# countdown.py
import time
import threading

class Countdown:
  def __init__(self, n):
    self.n = n
    self.thr = threading.Thread(target=self.run)
    self.thr.daemon = True
    self.thr.start()

  def run(self):
    while self.n > 0:
      print('T-minus', self.n)
      self.n -= 1
      time.sleep(5)

  def __getstate__(self):
    return self.n

  def __setstate__(self, n):
    self.__init__(n)

试着运行下面的序列化试验代码:

>>> import countdown
>>> c = countdown.Countdown(30)
>>> T-minus 30
T-minus 29
T-minus 28
...

>>> # After a few moments
>>> f = open('cstate.p', 'wb')
>>> import pickle
>>> pickle.dump(c, f)
>>> f.close()

然后退出Python解析器并重启后再试验下:

>>> f = open('cstate.p', 'rb')
>>> pickle.load(f)
countdown.Countdown object at 0x10069e2d0>
T-minus 19
T-minus 18
...

你可以看到线程又奇迹般的重生了,从你第一次序列化它的地方又恢复过来。

pickle 对于大型的数据结构比如使用 arraynumpy 模块创建的二进制数组效率并不是一个高效的编码方式。 如果你需要移动大量的数组数据,你最好是先在一个文件中将其保存为数组数据块或使用更高级的标准编码方式如HDF5 (需要第三方库的支持)。

由于 pickle 是Python特有的并且附着在源码上,所有如果需要长期存储数据的时候不应该选用它。 例如,如果源码变动了,你所有的存储数据可能会被破坏并且变得不可读取。 坦白来讲,对于在数据库和存档文件中存储数据时,你最好使用更加标准的数据编码格式如XML,CSV或JSON。 这些编码格式更标准,可以被不同的语言支持,并且也能很好的适应源码变更。

最后一点要注意的是 pickle 有大量的配置选项和一些棘手的问题。 对于最常见的使用场景,你不需要去担心这个,但是如果你要在一个重要的程序中使用pickle去做序列化的话, 最好去查阅一下 官方文档 。

以上就是序列化Python对象的方法的详细内容,更多关于序列化Python对象的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
分享一个常用的Python模拟登陆类
Mar 29 Python
Python的Flask框架中web表单的教程
Apr 20 Python
Python 专题三 字符串的基础知识
Mar 19 Python
通过Python实现自动填写调查问卷
Sep 06 Python
详解Django+Uwsgi+Nginx 实现生产环境部署
Nov 06 Python
python 在屏幕上逐字显示一行字的实例
Dec 24 Python
python3.6数独问题的解决
Jan 21 Python
使用Django搭建web服务器的例子(最最正确的方式)
Aug 29 Python
python基于gevent实现并发下载器代码实例
Nov 01 Python
Django使用list对单个或者多个字段求values值实例
Mar 31 Python
python3安装OCR识别库tesserocr过程图解
Apr 02 Python
Python爬虫实现vip电影下载的示例代码
Apr 20 Python
Python 忽略文件名编码的方法
Aug 01 #Python
Python 如何展开嵌套的序列
Aug 01 #Python
Python 日期与时间转换的方法
Aug 01 #Python
Python 执行矩阵与线性代数运算
Aug 01 #Python
Python实现数字的格式化输出
Aug 01 #Python
Python实现一个简单的递归下降分析器
Aug 01 #Python
Python 如何在字符串中插入变量
Aug 01 #Python
You might like
Laravel学习基础之migrate的使用教程
2017/10/11 PHP
Laravel框架源码解析之模型Model原理与用法解析
2020/05/14 PHP
可输入的下拉框
2006/06/19 Javascript
漂亮的widgets,支持换肤和后期开发新皮肤
2007/04/23 Javascript
JavaScript 异步调用框架 (Part 1 - 问题 & 场景)
2009/08/03 Javascript
JavaScript 直接操作本地文件的实现代码
2009/12/01 Javascript
js获取通过ajax返回的map型的JSONArray的方法
2014/01/09 Javascript
Node.js文件操作详解
2014/08/16 Javascript
js判断主流浏览器类型和版本号的简单实现代码
2016/05/26 Javascript
用jquery的attr方法实现图片切换效果
2017/02/05 Javascript
JavaScript与JQUERY获取元素的宽、高和位置
2017/02/26 Javascript
vue2笔记 — vue-router路由懒加载的实现
2017/03/03 Javascript
JS获取填报扩展单元格控件的值的解决办法
2017/07/14 Javascript
基于JavaScript 性能优化技巧心得(分享)
2017/12/11 Javascript
微信小程序之事件交互操作实例分析
2018/12/03 Javascript
详解Vue.js自定义tipOnce指令用法实例
2018/12/19 Javascript
js实现unicode码字符串与utf8字节数据互转详解
2019/03/21 Javascript
JS html事件冒泡和事件捕获操作示例
2019/05/01 Javascript
教你如何将 Sublime 3 打造成 Python/Django IDE开发利器
2014/07/04 Python
Python访问纯真IP数据库脚本分享
2015/06/29 Python
详解Python3中yield生成器的用法
2015/08/20 Python
Python的Twisted框架中使用Deferred对象来管理回调函数
2016/05/25 Python
python使用SMTP发送qq或sina邮件
2017/10/21 Python
朴素贝叶斯Python实例及解析
2018/11/19 Python
Django Rest framework之认证的实现代码
2018/12/17 Python
python scp 批量同步文件的实现方法
2019/01/03 Python
Python基础学习之类与实例基本用法与注意事项详解
2019/06/17 Python
python 实现快速生成连续、随机字母列表
2019/11/28 Python
Python sklearn中的.fit与.predict的用法说明
2020/06/28 Python
Python如何使用vars返回对象的属性列表
2020/10/17 Python
Python实现Kerberos用户的增删改查操作
2020/12/14 Python
Python基于argparse与ConfigParser库进行入参解析与ini parser
2021/02/02 Python
精彩的英文自荐信
2014/01/30 职场文书
SQL Server基本使用和简单的CRUD操作
2021/04/05 SQL Server
详解thinkphp的Auth类认证
2021/05/28 PHP
分享几个简单MySQL优化小妙招
2022/03/31 MySQL