Python Numpy中数据的常用保存与读取方法


Posted in Python onApril 01, 2020

在经常性读取大量的数值文件时(比如深度学习训练数据),可以考虑现将数据存储为Numpy格式,然后直接使用Numpy去读取,速度相比为转化前快很多.

下面就常用的保存数据到二进制文件和保存数据到文本文件进行介绍:

1.保存为二进制文件(.npy/.npz)

numpy.save

保存一个数组到一个二进制的文件中,保存格式是.npy

参数介绍

numpy.save(file, arr, allow_pickle=True, fix_imports=True)
file:文件名/文件路径
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)

使用

>>> import numpy as np 
#生成数据 
>>> x=np.arange(10) 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
 
#数据保存 
>>> np.save('save_x',x) 
 
#读取保存的数据 
>>> np.load('save_x.npy') 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
numpy.savez

这个同样是保存数组到一个二进制的文件中,但是厉害的是,它可以保存多个数组到同一个文件中,保存格式是.npz,它其实就是多个前面np.save的保存的npy,再通过打包(未压缩)的方式把这些文件归到一个文件上,不行你去解压npz文件就知道了,里面是就是自己保存的多个npy.

参数介绍

numpy.savez(file, *args, **kwds)
file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)

使用

>>> import numpy as np 
#生成数据 
>>> x=np.arange(10) 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> y=np.sin(x) 
>>> y 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849]) 
  
#数据保存 
>>> np.save('save_xy',x,y) 
 
#读取保存的数据 
>>> npzfile=np.load('save_xy.npz') 
>>> npzfile #是一个对象,无法读取 
<numpy.lib.npyio.NpzFile object at 0x7f63ce4c8860> 
 
#按照组数默认的key进行访问 
>>> npzfile['arr_0'] 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> npzfile['arr_1'] 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

更加神奇的是,你可以不适用Numpy默认给数组的Key,而是自己给数组有意义的Key,这样就可以不用去猜测自己加载数据是否是自己需要的.

#数据保存 
>>> np.savez('newsave_xy',x=x,y=y) 
 
#读取保存的数据 
>>> npzfile=np.load('newsave_xy.npz') 
 
#按照保存时设定组数key进行访问 
>>> npzfile['x'] 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> npzfile['y'] 
array([ 0.  , 0.84147098, 0.90929743, 0.14112001, -0.7568025 , 
  -0.95892427, -0.2794155 , 0.6569866 , 0.98935825, 0.41211849])

简直不能太爽,深度学习中,有时候你保存了训练集,验证集,测试集,还包括他们的标签,用这个方式存储起来,要啥加载啥,文件数量大大减少,也不会到处改文件名去.

numpy.savez_compressed

这个就是在前面numpy.savez的基础上加了压缩,前面我介绍时尤其注明numpy.savez是得到的文件打包,不压缩的.这个文件就是对文件进行打包时使用了压缩,可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.

注:函数所需参数和numpy.savez一致,用法完成一样.

2.保存到文本文件

numpy.savetxt

保存数组到文本文件上,可以直接打开查看文件里面的内容.

参数介绍

numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)
fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式
X:要存储的1D或2D数组
fmt:控制数据存储的格式
delimiter:数据列之间的分隔符
newline:数据行之间的分隔符
header:文件头步写入的字符串
footer:文件底部写入的字符串
comments:文件头部或者尾部字符串的开头字符,默认是'#'
encoding:使用默认参数

使用

>>> import numpy as np 
#生成数据 
>>> x = y = z = np.ones((2,3)) 
>>> x 
array([[1., 1., 1.], 
  [1., 1., 1.]]) 
  
#保存数据 
np.savetxt('test.out', x) 
np.savetxt('test1.out', x,fmt='%1.4e') 
np.savetxt('test2.out', x, delimiter=',') 
np.savetxt('test3.out', x,newline='a') 
np.savetxt('test4.out', x,delimiter=',',newline='a') 
np.savetxt('test5.out', x,delimiter=',',header='abc') 
np.savetxt('test6.out', x,delimiter=',',footer='abc')

保存下来的文件都是友好的,可以直接打开看看有什么变化.

numpy.loadtxt

根据前面定制的保存格式,相应的加载数据的函数也得变化.

参数介绍

numpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')
fname:文件名/文件路径,如果文件后缀是.gz或.bz2,文件将被解压,然后再载入
dtype:要读取的数据类型
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串
delimiter:划分读取上来值的字符串
converters:数据行之间的分隔符
.......后面不常用的就不写了

使用

np.loadtxt('test.out') 
np.loadtxt('test2.out', delimiter=',')

总结

到此这篇关于Python Numpy中数据的常用保存与读取方法的文章就介绍到这了,更多相关python numpy 数据保存读取内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现超简单端口转发的方法
Mar 13 Python
Python生成器(Generator)详解
Apr 13 Python
Python中基础的socket编程实战攻略
Jun 01 Python
常见的python正则用法实例讲解
Jun 21 Python
Python获取文件所在目录和文件名的方法
Jan 12 Python
Python基于identicon库创建类似Github上用的头像功能
Sep 25 Python
python九九乘法表的实例
Sep 26 Python
Django 视图层(view)的使用
Nov 09 Python
python使用sessions模拟登录淘宝的方式
Aug 16 Python
Django中Aggregation聚合的基本使用方法
Jul 09 Python
教你使用Pandas直接核算Excel中快递费用
May 12 Python
教你怎么用Python实现GIF动图的提取及合成
Jun 15 Python
Python PyQt5整理介绍
Apr 01 #Python
django之导入并执行自定义的函数模块图解
Apr 01 #Python
在脚本中单独使用django的ORM模型详解
Apr 01 #Python
Python视频编辑库MoviePy的使用
Apr 01 #Python
python json.dumps中文乱码问题解决
Apr 01 #Python
Django Admin后台添加数据库视图过程解析
Apr 01 #Python
pyqt5中动画的使用详解
Apr 01 #Python
You might like
一些花式咖啡的配方
2021/03/03 冲泡冲煮
pw的一个放后门的方法分析
2007/10/08 PHP
PHP新手用的Insert和Update语句构造类
2012/03/31 PHP
PHP之生成GIF动画的实现方法
2013/06/07 PHP
php创建和删除目录函数介绍和递归删除目录函数分享
2014/11/18 PHP
PHP getallheaders无法获取自定义头(headers)的问题
2016/03/23 PHP
PHP实现链式操作的三种方法详解
2017/11/16 PHP
JavaScript几种形式的树结构菜单
2010/05/10 Javascript
读jQuery之七 判断点击了鼠标哪个键的代码
2011/06/21 Javascript
js 动态为textbox添加下拉框数据源的方法
2014/04/24 Javascript
ECMAScript5中的对象存取器属性:getter和setter介绍
2014/12/08 Javascript
JavaScript和JQuery的鼠标mouse事件冒泡处理
2015/06/19 Javascript
谈谈JavaScript异步函数发展历程
2015/09/29 Javascript
jQueryUI Datepicker组件设置日期高亮
2016/10/13 Javascript
Bootstrap CDN和本地化环境搭建
2016/10/26 Javascript
AngularJS实现用户登录状态判断的方法(Model添加拦截过滤器,路由增加限制)
2016/12/12 Javascript
JS实现字符串转驼峰格式的方法
2016/12/16 Javascript
javascript实现复选框全选或反选
2017/02/04 Javascript
微信小程序日历组件使用方法详解
2018/12/29 Javascript
详解Angular Karma测试的持续集成实践
2019/11/15 Javascript
jQuery实现的解析本地 XML 文档操作示例
2020/04/30 jQuery
jQuery三组基本动画与自定义动画操作实例总结
2020/05/09 jQuery
使用apidocJs快速生成在线文档的实例讲解
2018/02/07 Python
在python中使用with打开多个文件的方法
2019/01/07 Python
django celery redis使用具体实践
2019/04/08 Python
python字符串分割及字符串的一些常规方法
2019/07/24 Python
PyQtGraph在pyqt中的应用及安装过程
2019/08/04 Python
Python实现平行坐标图的绘制(plotly)方式
2019/11/22 Python
python中有函数重载吗
2020/05/28 Python
如何利用Python动态模拟太阳系运转
2020/09/04 Python
Python根据字典的值查询出对应的键的方法
2020/09/30 Python
学生考试舞弊检讨书
2015/01/01 职场文书
导游词欢迎词
2015/02/02 职场文书
2015年学校减负工作总结
2015/05/19 职场文书
电视新闻稿
2015/07/17 职场文书
AI:如何训练机器学习的模型
2021/04/16 Python