对pandas写入读取h5文件的方法详解


Posted in Python onDecember 28, 2018

1、引言

通过参考相关博客对hdf5格式简要介绍。

hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率,节省空间。 开启压缩也没有什么劣势,只会慢一点点。 压缩在小数据量的时候优势不明显,数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了, 会覆盖。

另外,为什么单独说pandas,主要因为本人目前对于h5py这个包的理解不是很深入,不知道如果使用该包存pd.DataFrame格式的文件,不像numpy格式文件可以直接存储,因此本人只能依赖pandas自带一些函数进行处理。

2、写入文件

使用函数:pd.HDFStore

import numpy as np
import pandas as pd
####生成9000,0000条数据,9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储:
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()

####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()

3、读取文件

使用函数:pd.read_hdf

参数:文件名,key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上这篇对pandas写入读取h5文件的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置函数bin() oct()等实现进制转换
Dec 30 Python
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
Nov 05 Python
利用Python查看目录中的文件示例详解
Aug 28 Python
快速查询Python文档方法分享
Dec 27 Python
Python OpenCV处理图像之滤镜和图像运算
Jul 10 Python
Python设计模式之观察者模式原理与用法详解
Jan 16 Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 Python
python 矢量数据转栅格数据代码实例
Sep 30 Python
借助Paramiko通过Python实现linux远程登陆及sftp的操作
Mar 16 Python
Python代码中如何读取键盘录入的值
May 27 Python
Keras实现支持masking的Flatten层代码
Jun 16 Python
Python实现排序方法常见的四种
Jul 15 Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 #Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 #Python
python 检查是否为中文字符串的方法
Dec 28 #Python
浅谈python3发送post请求参数为空的情况
Dec 28 #Python
python3使用flask编写注册post接口的方法
Dec 28 #Python
python通过tcp发送xml报文的方法
Dec 28 #Python
对python 生成拼接xml报文的示例详解
Dec 28 #Python
You might like
是否存在第一台收音机的说法
2021/03/01 无线电
PHP4实际应用经验篇(5)
2006/10/09 PHP
PHP 批量删除 sql语句
2009/06/05 PHP
php下拉选项的批量操作的实现代码
2013/10/14 PHP
php动态生成版权所有信息的方法
2015/03/24 PHP
Yii实现的多级联动下拉菜单
2016/07/13 PHP
php抛出异常与捕捉特定类型的异常详解
2016/10/26 PHP
php简单实现文件或图片强制下载的方法
2016/12/06 PHP
PHP实现的redis主从数据库状态检测功能示例
2017/07/20 PHP
PHP Class SoapClient not found解决方法
2018/01/20 PHP
javaScript - 如何引入js代码
2021/03/09 Javascript
javascript确认框的三种使用方法
2013/12/17 Javascript
JavaScript实现按照指定长度为数字前面补零输出的方法
2015/03/19 Javascript
jQuery简单自定义图片轮播插件及用法示例
2016/11/21 Javascript
jQuery使用Layer弹出层插件闪退问题
2016/12/22 Javascript
BootStrop前端框架入门教程详解
2016/12/25 Javascript
BootStrapTable 单选及取值的实现方法
2017/01/10 Javascript
详解React中的组件通信问题
2017/07/31 Javascript
nginx部署访问vue-cli搭建的项目的方法
2018/02/12 Javascript
vue.js实现二级菜单效果
2019/10/19 Javascript
Python实现简单的可逆加密程序实例
2015/03/05 Python
python中多层嵌套列表的拆分方法
2018/07/02 Python
详解python配置虚拟环境
2019/04/08 Python
python 实现查找文件并输出满足某一条件的数据项方法
2019/06/12 Python
英国最专业的健身器材供应商之一:Best Gym Equipment
2017/12/22 全球购物
网站域名和主机:Domain.com
2019/04/01 全球购物
DERMAdoctor官网:美国著名皮肤护理品牌
2019/07/06 全球购物
澳洲最大的时尚奢侈品电商平台:Cettire
2020/06/15 全球购物
2019年分享net面试的经历和题目
2016/08/07 面试题
控制工程专业个人求职信
2013/09/25 职场文书
小型女装店的创业计划书
2014/01/09 职场文书
诉前财产保全担保书
2014/05/20 职场文书
敬老院献爱心活动总结
2014/07/08 职场文书
财务审计整改报告
2014/11/06 职场文书
2015年感恩节演讲稿(优选篇)
2015/03/20 职场文书
MySQL 表空间碎片的概念及相关问题解决
2021/05/07 MySQL