Python数据存储之 h5py详解


Posted in Python onDecember 26, 2019

1、Python数据存储(压缩)

(1)numpy.save , numpy.savez , scipy.io.savemat

numpy和scipy内建的数据存储方式。

(2)cPickle + gzip

cPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。

(3)h5py

h5py是对HDF5文件格式进行读写的python包,关于h5py更多介绍与安装,参考官方网站

关于HDF5,参考官方网站。:

一个HDF5文件就是一个由两种基本数据对象(groups and datasets)存放多种科学数据的容器:

HDF5 dataset: 数据元素的一个多维数组以及支持元数据(metadata); HDF5 group: 包含0个或多个HDF5对象以及支持元数据(metadata)的一个群组结构;

总之,dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group;group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。

h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!

2、h5py读取和存储数据示例

import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')

# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()

# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()

详细使用方法,参考官网。

以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则匹配查询港澳通行证办理进度示例分享
Dec 27 Python
基于python编写的微博应用
Oct 17 Python
Python装饰器基础详解
Mar 09 Python
基于python log取对数详解
Jun 08 Python
python基于http下载视频或音频
Jun 20 Python
用python生成1000个txt文件的方法
Oct 25 Python
python 定时器每天就执行一次的实现代码
Aug 14 Python
python logging日志模块原理及操作解析
Oct 12 Python
Python面向对象原理与基础语法详解
Jan 02 Python
python利用百度云接口实现车牌识别的示例
Feb 21 Python
简单了解python关键字global nonlocal区别
Sep 21 Python
使用Python爬取小姐姐图片(beautifulsoup法)
Feb 11 Python
Python 使用 prettytable 库打印表格美化输出功能
Dec 26 #Python
Python实现图片识别加翻译功能
Dec 26 #Python
opencv resize图片为正方形尺寸的实现方法
Dec 26 #Python
opencv之为图像添加边界的方法示例
Dec 26 #Python
Python 过滤错误log并导出的实例
Dec 26 #Python
python3 pathlib库Path类方法总结
Dec 26 #Python
python3实现在二叉树中找出和为某一值的所有路径(推荐)
Dec 26 #Python
You might like
jQuery UI Autocomplete 1.8.16 中文输入修正代码
2012/04/16 Javascript
JavaScript字符串对象substring方法入门实例(用于截取字符串)
2014/10/17 Javascript
js中substring和substr两者区别和使用方法
2015/11/09 Javascript
JavaScript实现给定时间相加天数的方法
2016/01/25 Javascript
RequireJS多页面应用实例分析
2016/06/29 Javascript
js简单时间比较的方法
2016/08/02 Javascript
关于验证码在IE中不刷新的快速解决方法
2016/09/23 Javascript
jQuery插件FusionCharts绘制的2D条状图效果【附demo源码】
2017/05/13 jQuery
jquery请求servlet实现ajax异步请求的示例
2017/06/03 jQuery
AngularJS实现单一页面内设置跳转路由的方法
2017/06/28 Javascript
Javascript实现时间倒计时效果
2017/07/15 Javascript
详解jQuery同步Ajax带来的UI线程阻塞问题及解决办法
2017/08/09 jQuery
Vue.js添加组件操作示例
2018/06/13 Javascript
JS/HTML5游戏常用算法之路径搜索算法 随机迷宫算法详解【普里姆算法】
2018/12/13 Javascript
Vue脚手架编写试卷页面功能
2020/03/17 Javascript
原生js实现滑块区间组件
2021/01/20 Javascript
Python数组条件过滤filter函数使用示例
2014/07/22 Python
python实现FTP服务器服务的方法
2017/04/11 Python
使用Python抓取豆瓣影评数据的方法
2018/10/17 Python
python后端接收前端回传的文件方法
2019/01/02 Python
Python如何实现转换URL详解
2019/07/02 Python
Mac中PyCharm配置Anaconda环境的方法
2020/03/04 Python
python实现飞船大战
2020/04/24 Python
使用pycharm和pylint检查python代码规范操作
2020/06/09 Python
Python爬虫+tkinter界面实现历史天气查询的思路详解
2021/02/22 Python
多视角3D可旋转的HTML5 Logo动画
2016/03/02 HTML / CSS
巴西最大的在线约会网站:ParPerfeito
2018/07/11 全球购物
ECCO俄罗斯官网:北欧丹麦鞋履及皮具品牌
2020/06/26 全球购物
给幼儿园老师的表扬信
2014/01/19 职场文书
企业安全生产演讲稿
2014/05/09 职场文书
2014县委书记四风对照检查材料思想汇报
2014/09/21 职场文书
少年犯观后感
2015/06/11 职场文书
2015年秋季开学典礼校长致辞
2015/07/16 职场文书
2019年“红色之旅”心得体会1000字(3篇)
2019/09/27 职场文书
Sql Server之数据类型详解
2022/02/28 SQL Server
Python采集爬取京东商品信息和评论并存入MySQL
2022/04/12 Python