Python数据存储之 h5py详解


Posted in Python onDecember 26, 2019

1、Python数据存储(压缩)

(1)numpy.save , numpy.savez , scipy.io.savemat

numpy和scipy内建的数据存储方式。

(2)cPickle + gzip

cPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。

(3)h5py

h5py是对HDF5文件格式进行读写的python包,关于h5py更多介绍与安装,参考官方网站

关于HDF5,参考官方网站。:

一个HDF5文件就是一个由两种基本数据对象(groups and datasets)存放多种科学数据的容器:

HDF5 dataset: 数据元素的一个多维数组以及支持元数据(metadata); HDF5 group: 包含0个或多个HDF5对象以及支持元数据(metadata)的一个群组结构;

总之,dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group;group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。

h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!

2、h5py读取和存储数据示例

import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')

# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()

# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()

详细使用方法,参考官网。

以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中lambda与def用法对比实例分析
Apr 30 Python
Python 网页解析HTMLParse的实例详解
Aug 10 Python
Python 操作文件的基本方法总结
Aug 10 Python
TF-IDF与余弦相似性的应用(一) 自动提取关键词
Dec 21 Python
Python干货:分享Python绘制六种可视化图表
Aug 27 Python
在python中将list分段并保存为array类型的方法
Jul 15 Python
python3文件复制、延迟文件复制任务的实现方法
Sep 02 Python
Django框架模板用法入门教程
Nov 04 Python
wxPython实现列表增删改查功能
Nov 19 Python
python-视频分帧&多帧合成视频实例
Dec 10 Python
mac使用python识别图形验证码功能
Jan 10 Python
Python脚本打包成可执行文件过程解析
Oct 20 Python
Python 使用 prettytable 库打印表格美化输出功能
Dec 26 #Python
Python实现图片识别加翻译功能
Dec 26 #Python
opencv resize图片为正方形尺寸的实现方法
Dec 26 #Python
opencv之为图像添加边界的方法示例
Dec 26 #Python
Python 过滤错误log并导出的实例
Dec 26 #Python
python3 pathlib库Path类方法总结
Dec 26 #Python
python3实现在二叉树中找出和为某一值的所有路径(推荐)
Dec 26 #Python
You might like
php入门学习知识点五 关于php数组的几个基本操作
2011/07/14 PHP
PHP中4个加速、缓存扩展的区别和选用建议
2014/03/12 PHP
PHP Header失效的原因分析及解决方法
2016/11/16 PHP
php实现多站点共用session实现单点登录的方法详解
2019/09/18 PHP
CSS3画一个阴阳八卦图
2021/03/09 HTML / CSS
实例:尽可能写友好的Javascript代码
2006/10/09 Javascript
event.srcElement 用法笔记e.target
2009/12/18 Javascript
JavaScript 变量作用域分析
2011/07/04 Javascript
jquery选择器之属性过滤选择器详解
2014/01/27 Javascript
jquery获取复选框被选中的值
2014/04/10 Javascript
javascript实现支持移动设备画廊
2015/08/24 Javascript
jQuery ajax动态生成table功能示例
2017/06/14 jQuery
JS实现图片预览的两种方式
2017/06/27 Javascript
详解使用React全家桶搭建一个后台管理系统
2017/11/04 Javascript
vue中实现图片和文件上传的示例代码
2018/03/16 Javascript
Vue条件循环判断+计算属性+绑定样式v-bind的实例
2018/09/18 Javascript
纯js实现无缝滚动功能代码实例
2020/02/21 Javascript
Python编写简单的HTML页面合并脚本
2016/07/11 Python
Java分治归并排序算法实例详解
2017/12/12 Python
图解Python变量与赋值
2018/04/03 Python
PyQt5每天必学之切换按钮
2020/08/20 Python
如何基于Python获取图片的物理尺寸
2019/11/25 Python
Python实现病毒仿真器的方法示例(附demo)
2020/02/19 Python
Python post请求实现代码实例
2020/02/28 Python
mac 上配置Pycharm连接远程服务器并实现使用远程服务器Python解释器的方法
2020/03/19 Python
简单了解pytest测试框架setup和tearDown
2020/04/14 Python
10 套华丽的CSS3 按钮小结
2012/10/03 HTML / CSS
杭州SQL浙江浙大网新恩普软件有限公司
2013/07/27 面试题
内部类的定义、种类以及优点
2013/10/16 面试题
《小小雨点》教学反思
2014/02/18 职场文书
铁路安全事故反思
2014/04/26 职场文书
物流管理专业自荐信
2014/06/23 职场文书
会议邀请函
2015/01/30 职场文书
OpenCV全景图像拼接的实现示例
2021/06/05 Python
MySQL中的隐藏列的具体查看
2021/09/04 MySQL
Python可变与不可变数据和深拷贝与浅拷贝
2022/04/06 Python