Python数据存储之 h5py详解


Posted in Python onDecember 26, 2019

1、Python数据存储(压缩)

(1)numpy.save , numpy.savez , scipy.io.savemat

numpy和scipy内建的数据存储方式。

(2)cPickle + gzip

cPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。

(3)h5py

h5py是对HDF5文件格式进行读写的python包,关于h5py更多介绍与安装,参考官方网站

关于HDF5,参考官方网站。:

一个HDF5文件就是一个由两种基本数据对象(groups and datasets)存放多种科学数据的容器:

HDF5 dataset: 数据元素的一个多维数组以及支持元数据(metadata); HDF5 group: 包含0个或多个HDF5对象以及支持元数据(metadata)的一个群组结构;

总之,dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group;group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。

h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!

2、h5py读取和存储数据示例

import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')

# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()

# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()

详细使用方法,参考官网。

以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编程语言的35个与众不同之处(语言特征和使用技巧)
Jul 07 Python
Python XML RPC服务器端和客户端实例
Nov 22 Python
Odoo中如何生成唯一不重复的序列号详解
Feb 10 Python
Python多线程编程之多线程加锁操作示例
Sep 06 Python
Python numpy.array()生成相同元素数组的示例
Nov 12 Python
PyQt5实现简单数据标注工具
Mar 18 Python
利用Python半自动化生成Nessus报告的方法
Mar 19 Python
从列表或字典创建Pandas的DataFrame对象的方法
Jul 06 Python
python多线程共享变量的使用和效率方法
Jul 16 Python
Python爬虫实现“盗取”微信好友信息的方法分析
Sep 16 Python
Pycharm安装并配置jupyter notebook的实现
May 18 Python
opencv 图像腐蚀和图像膨胀的实现
Jul 07 Python
Python 使用 prettytable 库打印表格美化输出功能
Dec 26 #Python
Python实现图片识别加翻译功能
Dec 26 #Python
opencv resize图片为正方形尺寸的实现方法
Dec 26 #Python
opencv之为图像添加边界的方法示例
Dec 26 #Python
Python 过滤错误log并导出的实例
Dec 26 #Python
python3 pathlib库Path类方法总结
Dec 26 #Python
python3实现在二叉树中找出和为某一值的所有路径(推荐)
Dec 26 #Python
You might like
高亮度显示php源代码
2006/10/09 PHP
PHP函数shuffle()取数组若干个随机元素的方法分析
2016/04/02 PHP
什么是OneThink oneThink后台添加插件步骤
2016/04/13 PHP
php+MySQL实现登录时验证登录名和密码是否正确
2016/05/10 PHP
PHP环境搭建(php+Apache+mysql)
2016/11/14 PHP
jQuery编写widget的一些技巧分享
2010/10/28 Javascript
js获取location.href的参数实例代码
2013/08/02 Javascript
JavaScript简介
2015/02/15 Javascript
初步使用bootstrap快速创建页面
2016/03/03 Javascript
jQuery控制li上下循环滚动插件用法实例(附demo源码下载)
2016/05/28 Javascript
JS实现列表的响应式排版(推荐)
2016/09/01 Javascript
javascript使用闭包模拟对象的私有属性和方法
2016/10/05 Javascript
Javascript 实现放大镜效果实例详解
2016/12/03 Javascript
浅谈JavaScript中promise的使用
2017/01/11 Javascript
微信小程序 天气预报开发实例代码源码
2017/01/20 Javascript
Angular.js去除页面中显示的空行方法示例
2017/03/30 Javascript
基于es6三点运算符的使用方法(实例讲解)
2017/10/12 Javascript
JavaScript设计模式之装饰者模式定义与应用示例
2018/07/25 Javascript
解决vue-quill-editor上传内容由于图片是base64的导致字符太长的问题
2018/08/20 Javascript
3分钟了解vue数据劫持的原理实现
2019/05/01 Javascript
实例讲解React 组件
2020/07/07 Javascript
关于vue 项目中浏览器跨域的配置问题
2020/11/10 Javascript
[08:56]DOTA2-DPC中国联赛2月23日Recap集锦
2021/03/11 DOTA
Python实现PS滤镜Fish lens图像扭曲效果示例
2018/01/29 Python
基于python分析你的上网行为 看看你平时上网都在干嘛
2019/08/13 Python
使用python绘制温度变化雷达图
2019/10/18 Python
Python hmac模块使用实例解析
2019/12/24 Python
基于Python快速处理PDF表格数据
2020/06/03 Python
Python多分支if语句的使用
2020/09/03 Python
CSS3 Backgrounds属性相关介绍
2011/05/11 HTML / CSS
计算机专业毕业生自荐书
2014/06/02 职场文书
小学生感恩父母演讲稿
2014/08/28 职场文书
2015年学生会干事工作总结
2015/04/09 职场文书
科技馆观后感
2015/06/08 职场文书
公司员工宿舍管理制度
2015/08/07 职场文书
python实现会员信息管理系统(List)
2022/03/18 Python