对pandas写入读取h5文件的方法详解


Posted in Python onDecember 28, 2018

1、引言

通过参考相关博客对hdf5格式简要介绍。

hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率,节省空间。 开启压缩也没有什么劣势,只会慢一点点。 压缩在小数据量的时候优势不明显,数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了, 会覆盖。

另外,为什么单独说pandas,主要因为本人目前对于h5py这个包的理解不是很深入,不知道如果使用该包存pd.DataFrame格式的文件,不像numpy格式文件可以直接存储,因此本人只能依赖pandas自带一些函数进行处理。

2、写入文件

使用函数:pd.HDFStore

import numpy as np
import pandas as pd
####生成9000,0000条数据,9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储:
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()

####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()

3、读取文件

使用函数:pd.read_hdf

参数:文件名,key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上这篇对pandas写入读取h5文件的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
学习python处理python编码问题
Mar 13 Python
Python中用Descriptor实现类级属性(Property)详解
Sep 18 Python
Python 检查数组元素是否存在类似PHP isset()方法
Oct 14 Python
在Python中使用lambda高效操作列表的教程
Apr 24 Python
Python+微信接口实现运维报警
Aug 27 Python
利用Python3分析sitemap.xml并抓取导出全站链接详解
Jul 04 Python
Ubuntu安装Jupyter Notebook教程
Oct 18 Python
python单线程下实现多个socket并发过程详解
Jul 27 Python
基于python使用tibco ems代码实例
Dec 20 Python
pytorch 实现查看网络中的参数
Jan 06 Python
python实现替换word中的关键文字(使用通配符)
Feb 13 Python
python 密码学示例——理解哈希(Hash)算法
Sep 21 Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 #Python
python 检查是否为中文字符串的方法
Dec 28 #Python
浅谈python3发送post请求参数为空的情况
Dec 28 #Python
python3使用flask编写注册post接口的方法
Dec 28 #Python
python通过tcp发送xml报文的方法
Dec 28 #Python
对python 生成拼接xml报文的示例详解
Dec 28 #Python
You might like
用来给图片加水印的PHP类
2008/04/09 PHP
php一次性删除前台checkbox多选内容的方法
2013/09/22 PHP
PHP性能分析工具XHProf安装使用教程
2015/05/13 PHP
PHP实现双链表删除与插入节点的方法示例
2017/11/11 PHP
PHP Ajax跨域问题解决方案代码实例
2020/08/01 PHP
来自chinaz的ajax获取评论代码
2008/05/03 Javascript
jQuery 使用手册(二)
2009/09/23 Javascript
javascript 学习笔记(一)DOM基本操作
2011/04/08 Javascript
Js制作简单弹出层DIV在页面居中 中间显示遮罩的具体方法
2013/08/08 Javascript
js图片滚动效果时间可随意设定当鼠标移上去时停止
2014/06/26 Javascript
HTML5基于Tomcat 7.0实现WebSocket连接并实现简单的实时聊天
2016/10/31 Javascript
JS 实现Base64编码与解码实例详解
2016/11/07 Javascript
js定时器实例分享
2016/12/20 Javascript
微信小程序滚动Tab实现左右可滑动切换
2017/08/17 Javascript
Mac下安装vue
2018/04/11 Javascript
Vue组件中的data必须是一个function的原因浅析
2018/09/03 Javascript
vue-cli3.0如何使用CDN区分开发、生产、预发布环境
2018/11/22 Javascript
Vue实现根据hash高亮选项卡
2019/05/27 Javascript
使用Vant完成Dialog弹框案例
2020/11/11 Javascript
[55:03]LGD vs EG 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/18 DOTA
python解析xml模块封装代码
2014/02/07 Python
Django使用paginator插件实现翻页功能的实例
2018/10/24 Python
如何解决django-celery启动后迅速关闭
2019/10/16 Python
Python tkinter 下拉日历控件代码
2020/03/04 Python
缓解脚、腿和背部疼痛:Z-CoiL鞋
2019/03/12 全球购物
运动会邀请函范文
2014/02/06 职场文书
网吧最新创业计划书范文
2014/03/27 职场文书
家具商场的活动方案
2014/08/16 职场文书
纪念九一八事变83周年国旗下讲话稿
2014/09/15 职场文书
2014学习十八届四中全会精神思想汇报范文
2014/10/23 职场文书
习近平在党的群众路线教育实践活动总结大会上的讲话全文
2014/10/25 职场文书
西安兵马俑导游词
2015/02/02 职场文书
业务员年终工作总结2015
2015/05/28 职场文书
入党团支部推荐意见
2015/06/02 职场文书
MySQL的Query Cache图文详解
2021/07/01 MySQL
MySQL sql模式设置引起的问题
2022/05/15 MySQL