Python 中Pickle库的使用详解


Posted in Python onFebruary 24, 2018

在“通过简单示例来理解什么是机器学习”这篇文章里提到了pickle库的使用,本文来做进一步的阐述。

那么为什么需要序列化和反序列化这一操作呢?

1.便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中,当需要读取文件的时候,从硬盘中读取数据,然后再将其反序列化便可以得到原始的数据。在Python程序运行中得到了一些字符串、列表、字典等数据,想要长久的保存下来,方便以后使用,而不是简单的放入内存中关机断电就丢失数据。python模块大全中的Pickle模块就派上用场了,它可以将对象转换为一种可以传输或存储的格式。

2.便于传输。当两个进程在进行远程通信时,彼此可以发送各种类型的数据。无论是何种类型的数据,都会以二进制序列的形式在网络上传送。发送方需要把?个对象转换为字节序列,在能在网络上传输;接收方则需要把字节序列在恢复为对象。

通过简单示例来理解什么是机器学习

pickle是python语言的一个标准模块,安装python后已包含pickle库,不需要单独再安装。

pickle模块实现了基本的数据序列化和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

在官方的介绍中,序列化操作的英文描述有好几个单词,如”serializing”, “pickling”, “serialization”, “marshalling” 或者”flattening”等,它们都代表的是序列化的意思。相应的,反序列化操作的英文单词也有好多个,如”de-serializing”, “unpickling”, “deserailization”等。为了避免混淆,一般用”pickling”/“unpickling”, 或者”serialization”/“deserailization”。

pickle模块是以二进制的形式序列化后保存到文件中(保存文件的后缀为”.pkl”),不能直接打开进行预览。而python的另一个序列化标准模块json,则是human-readable的,可以直接打开查看(例如在notepad++中查看)。

pickle模块有两类主要的接口,即序列化和反序列化。

其中序列化操作包括:

pickle.dump()
Pickler(file, protocol).dump(obj)

反序列化操作包括:

pickle.load()
Unpickler(file).load()

2 序列化操作

2.1 序列化方法pickle.dump()

序列化的方法为 pickle.dump(),该方法的相关参数如下:

pickle.dump(obj, file, protocol=None,*,fix_imports=True)

该方法实现的是将序列化后的对象obj以二进制形式写入文件file中,进行保存。它的功能等同于 Pickler(file, protocol).dump(obj)。

关于参数file,有一点需要注意,必须是以二进制的形式进行操作(写入)。

参考前文的案例如下:

import picklewith open('svm_model_iris.pkl', 'wb') as f:
 pickle.dump(svm_classifier, f)

file为'svm_model_iris.pkl',并且以二进制的形式('wb')写入。

关于参数protocol,一共有5中不同的类型,即(0,1,2,3,4)。(0,1,2)对应的是python早期的版本,(3,4)则是在python3之后的版本。

此外,参数可选 pickle.HIGHEST_PROTOCOL和pickle.DEFAULT_PROTOCOL。当前,python3.5版本中,pickle.HIGHEST_PROTOCOL的值为4,pickle.DEFAULT_PROTOCOL的值为3。当protocol参数为负数时,表示选择的参数是pickle.HIGHEST_PROTOCOL。

关于参数protocol,官方的详细介绍如下:

Python 中Pickle库的使用详解

2.2 序列化方法pickle.dumps()

pickle.dumps()方法的参数如下:

pickle.dumps(obj, protocol=None,*,fix_imports=True)

pickle.dumps()方法跟pickle.dump()方法的区别在于,pickle.dumps()方法不需要写入文件中,它是直接返回一个序列化的bytes对象。

2.3 序列化方法Pickler(file, protocol).dump(obj)

pickle模块提供了序列化的面向对象的类方法,即 class pickle.Pickler(file, protocol=None,*,fix_imports=True),Pickler类有dump()方法。

Pickler(file, protocol).dump(obj) 实现的功能跟 pickle.dump() 是一样的。

关于Pickler类的其他method,请参考官方API。

插播一条硬广:技术文章转发太多,本文来自微信公众号:“Python数据之道”(ID:PyDataRoad)。

3 反序列化操作

3.1 反序列化方法pickle.load()

序列化的方法为 pickle.load(),该方法的相关参数如下:

pickle.load(file, *,fix_imports=True, encoding=”ASCII”. errors=”strict”)

该方法实现的是将序列化的对象从文件file中读取出来。它的功能等同于 Unpickler(file).load()。

关于参数file,有一点需要注意,必须是以二进制的形式进行操作(读取)。

参考前文的案例如下:

import picklewith open('svm_model_iris.pkl', 'rb') as f:
 model = pickle.load(f)

file为'svm_model_iris.pkl',并且以二进制的形式('rb')读取。

读取的时候,参数protocol是自动选择的,load()方法中没有这个参数。

3.2 反序列化方法pickle.loads()

pickle.loads()方法的参数如下:

pickle.loads(bytes_object, *,fix_imports=True, encoding=”ASCII”. errors=”strict”)

pickle.loads()方法跟pickle.load()方法的区别在于,pickle.loads()方法是直接从bytes对象中读取序列化的信息,而非从文件中读取。

3.3 反序列化方法Unpickler(file).load()

pickle模块提供了反序列化的面向对象的类方法,即 class pickle.Unpickler(file, *,fix_imports=True, encoding="ASCII". errors="strict"),Pickler类有load()方法。

Unpickler(file).load() 实现的功能跟 pickle.load() 是一样的。

关于Unpickler类的其他method,请参考官方API。

4 那些类型可以进行序列化和反序列化操作

官方文档是这么介绍的,这里我就不进一步描述了。

Python 中Pickle库的使用详解

写在后面

pickle模块还是比较实用的,当然,关于pickle模块,其实还有许多的信息可以去了解,想了解更多信息的童鞋,建议可以阅读下python官方的API文档(library文件)。

以上所述是小编给大家介绍的Python 中Pickle库的使用详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
使用Python判断IP地址合法性的方法实例
Mar 13 Python
Python中使用logging模块打印log日志详解
Apr 05 Python
Python实现比较两个列表(list)范围
Jun 12 Python
使用requests库制作Python爬虫
Mar 25 Python
python实现石头剪刀布小游戏
Jan 20 Python
Python matplotlib画图与中文设置操作实例分析
Apr 23 Python
Python笔记之观察者模式
Nov 20 Python
numpy 返回函数的上三角矩阵实例
Nov 25 Python
Python字典生成式、集合生成式、生成器用法实例分析
Jan 07 Python
Django模板之基本的 for 循环 和 List内容的显示方式
Mar 31 Python
python实现自动打卡的示例代码
Oct 10 Python
解决python绘图使用subplots出现标题重叠的问题
Apr 30 Python
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
Feb 24 #Python
python3+mysql查询数据并通过邮件群发excel附件
Feb 24 #Python
Python3实现带附件的定时发送邮件功能
Dec 22 #Python
python正则实现提取电话功能
Feb 24 #Python
python3实现公众号每日定时发送日报和图片
Feb 24 #Python
详解如何在python中读写和存储matlab的数据文件(*.mat)
Feb 24 #Python
使用python和pygame绘制繁花曲线的方法
Feb 24 #Python
You might like
用PHP的ob_start();控制您的浏览器cache!
2006/11/25 PHP
PHP常用工具类大全附全部代码下载
2015/12/07 PHP
分享php邮件管理器源码
2016/01/06 PHP
详解PHP函数 strip_tags 处理字符串缺陷bug
2017/06/11 PHP
PHP实现的多维数组排序算法分析
2018/02/10 PHP
详解PHP版本兼容之openssl调用参数
2018/07/25 PHP
jquery插件制作 提示框插件实现代码
2012/08/17 Javascript
瀑布流布局代码一例
2014/04/11 Javascript
Mac OS X 系统下安装和部署Egret引擎开发环境
2014/09/03 Javascript
Bootstrap所支持的表单控件实例详解
2016/05/16 Javascript
vue实现可增删查改的成绩单
2016/10/27 Javascript
js实现无缝滚动图
2017/02/22 Javascript
nodejs个人博客开发第四步 数据模型
2017/04/12 NodeJs
JS中使用textPath实现线条上的文字
2017/12/25 Javascript
Auto.js自动收取自己和好友蚂蚁森林能量脚本
2018/06/28 Javascript
详解vue服务端渲染浏览器端缓存(keep-alive)
2018/10/12 Javascript
tracking.js页面人脸识别插件使用方法
2020/04/16 Javascript
Vue渲染过程浅析
2019/03/14 Javascript
js继承的这6种方式!(上)
2019/04/23 Javascript
JSON是什么?有哪些优点?JSON和XML的区别?
2019/04/29 Javascript
Python后台开发Django的教程详解(启动)
2019/04/08 Python
Python3 venv搭建轻量级虚拟环境的步骤(图文)
2019/08/09 Python
python中rc1什么意思
2020/06/19 Python
安装pyinstaller遇到的各种问题(小结)
2020/11/20 Python
python 实现超级玛丽游戏
2020/11/25 Python
用python对excel进行操作(读,写,修改)
2020/12/25 Python
python绘制高斯曲线
2021/02/19 Python
英国异国风情旅游网站:Travel Talk Tours(团体旅游、探险旅游、帆船假期)
2018/07/26 全球购物
自考生自我鉴定范文
2013/10/01 职场文书
优秀应届毕业生自荐信
2013/11/16 职场文书
2014年文学毕业生自我鉴定
2014/04/23 职场文书
上课随便讲话检讨书
2014/09/12 职场文书
教师党员自我评价2015
2015/03/04 职场文书
2015年事业单位办公室文员工作总结
2015/04/24 职场文书
土木工程生产实习心得体会
2016/01/22 职场文书
pandas提升计算效率的一些方法汇总
2021/05/30 Python