对pandas写入读取h5文件的方法详解


Posted in Python onDecember 28, 2018

1、引言

通过参考相关博客对hdf5格式简要介绍。

hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率,节省空间。 开启压缩也没有什么劣势,只会慢一点点。 压缩在小数据量的时候优势不明显,数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了, 会覆盖。

另外,为什么单独说pandas,主要因为本人目前对于h5py这个包的理解不是很深入,不知道如果使用该包存pd.DataFrame格式的文件,不像numpy格式文件可以直接存储,因此本人只能依赖pandas自带一些函数进行处理。

2、写入文件

使用函数:pd.HDFStore

import numpy as np
import pandas as pd
####生成9000,0000条数据,9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储:
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()

####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()

3、读取文件

使用函数:pd.read_hdf

参数:文件名,key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上这篇对pandas写入读取h5文件的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python迭代器实例简析
Sep 25 Python
python实现应用程序在右键菜单中添加打开方式功能
Jan 09 Python
Python3使用turtle绘制超立方体图形示例
Jun 19 Python
python实战教程之自动扫雷
Jul 13 Python
树莓派极简安装OpenCv的方法步骤
Oct 10 Python
Python FTP文件定时自动下载实现过程解析
Nov 12 Python
python实例化对象的具体方法
Jun 17 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 Python
Python requests HTTP验证登录实现流程
Nov 05 Python
Python爬虫之Selenium实现键盘事件
Dec 04 Python
pycharm Tab键设置成4个空格的操作
Feb 26 Python
pycharm安装深度学习pytorch的d2l包失败问题解决
Mar 25 Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 #Python
python 检查是否为中文字符串的方法
Dec 28 #Python
浅谈python3发送post请求参数为空的情况
Dec 28 #Python
python3使用flask编写注册post接口的方法
Dec 28 #Python
python通过tcp发送xml报文的方法
Dec 28 #Python
对python 生成拼接xml报文的示例详解
Dec 28 #Python
You might like
php发送与接收流文件的方法
2015/02/11 PHP
PHP使用Face++接口开发微信公众平台人脸识别系统的方法
2015/04/17 PHP
php用正则判断是否为数字的方法
2016/03/25 PHP
TP5框架实现上传多张图片的方法分析
2020/03/29 PHP
JScript中的"this"关键字使用方式补充材料
2007/03/08 Javascript
jquery利用ajax调用后台方法实例
2013/08/23 Javascript
纯javascript实现的小游戏《Flappy Pig》实例
2015/07/27 Javascript
JS实现黑色风格的网页TAB选项卡效果代码
2015/10/09 Javascript
Angularjs 实现一个幻灯片示例代码
2016/09/08 Javascript
JS+HTML5实现的前端购物车功能插件实例【附demo源码下载】
2016/10/17 Javascript
ES6中参数的默认值语法介绍
2017/05/03 Javascript
Node.js简单入门前传
2017/08/21 Javascript
AngularJS实现的生成随机数与猜数字大小功能示例
2017/12/25 Javascript
javascript实现文本框标签验证的实例代码
2018/10/14 Javascript
vue本地打开build后生成的dist文件夹index.html问题
2019/09/04 Javascript
vue 解决兄弟组件、跨组件深层次的通信操作
2020/07/27 Javascript
微信小程序通过websocket实时语音识别的实现代码
2020/08/19 Javascript
vue实现购物车的小练习
2020/12/21 Vue.js
[00:31]DOTA2上海特级锦标赛 Fnatic战队宣传片
2016/03/04 DOTA
在Linux命令行终端中使用python的简单方法(推荐)
2017/01/23 Python
在Python文件中指定Python解释器的方法
2019/02/18 Python
Python实现Linux监控的方法
2019/05/16 Python
Python爬虫教程知识点总结
2020/10/19 Python
英国在线滑雪板和冲浪商店:The Board Basement
2020/01/11 全球购物
linux面试题参考答案(11)
2016/11/26 面试题
Python里面如何实现tuple和list的转换
2012/06/13 面试题
描述JSP和Servlet的区别、共同点、各自应用的范围
2012/10/02 面试题
关爱留守儿童倡议书
2014/04/15 职场文书
解除劳动合同证明书模板
2014/11/20 职场文书
后备干部推荐材料
2014/12/24 职场文书
先进班组事迹材料
2014/12/25 职场文书
2015年材料员工作总结
2015/04/30 职场文书
全国法制宣传日活动总结
2015/05/05 职场文书
Python批量将csv文件转化成xml文件的实例
2021/05/10 Python
Python爬虫中urllib3与urllib的区别是什么
2021/07/21 Python
SQL实现LeetCode(197.上升温度)
2021/08/07 MySQL