通过Pandas读取大文件的实例


Posted in Python onJune 07, 2018

当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取:

import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
 try:
 chunk = reader.get_chunk(chunkSize)
 chunks.append(chunk)
 except StopIteration:
 loop = False
 print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)

read_csv()函数的iterator参数等于True时,表示返回一个TextParser以便逐块读取文件;

chunkSize表示文件块的大小,用于迭代;

TextParser类的get_chunk方法用于读取任意大小的文件块;

StopIteration的异常表示在循环对象穷尽所有元素时报错;

concat()函数用于将数据做轴向连接:

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)

常用参数:

objs:Series,DataFrame或者是Panel构成的序列list;

axis:需要合并连接的轴,0是行,1是列;

join:连接的参数,inner或outer;

ignore=True表示重建索引。

以上这篇通过Pandas读取大文件的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用hashlib模块处理算法的教程
Apr 28 Python
python中WSGI是什么,Python应用WSGI详解
Nov 24 Python
python基于ID3思想的决策树
Jan 03 Python
pandas将DataFrame的列变成行索引的方法
Apr 10 Python
Python实现string字符串连接的方法总结【8种方式】
Jul 06 Python
python中cPickle类使用方法详解
Aug 27 Python
python使用pygame框架实现推箱子游戏
Nov 20 Python
Python Opencv实现图像轮廓识别功能
Mar 23 Python
Flask框架实现的前端RSA加密与后端Python解密功能详解
Aug 13 Python
浅谈Python中的异常和JSON读写数据的实现
Feb 27 Python
使用Numpy对特征中的异常值进行替换及条件替换方式
Jun 08 Python
使用Python快速打开一个百万行级别的超大Excel文件的方法
Mar 02 Python
Pandas:DataFrame对象的基础操作方法
Jun 07 #Python
Python中偏函数用法示例
Jun 07 #Python
网红编程语言Python将纳入高考你怎么看?
Jun 07 #Python
python指定写入文件时的编码格式方法
Jun 07 #Python
Python实现的爬虫刷回复功能示例
Jun 07 #Python
异步任务队列Celery在Django中的使用方法
Jun 07 #Python
浅谈python中对于json写入txt文件的编码问题
Jun 07 #Python
You might like
PHP异常处理Exception类
2015/12/11 PHP
Thinkphp5.0框架视图view的循环标签用法示例
2019/10/12 PHP
非常强大的 jQuery.AsyncBox 弹出对话框插件
2011/08/29 Javascript
js获取location.href的参数实例代码
2013/08/02 Javascript
在JavaScript中操作时间之getUTCDate()方法的使用
2015/06/10 Javascript
javascript拖拽应用实例(二)
2016/03/25 Javascript
jQuery选择器实例应用
2017/01/05 Javascript
React组件的三种写法总结
2017/01/12 Javascript
vuejs父子组件之间数据交互详解
2017/08/09 Javascript
简化vuex的状态管理方案的方法
2018/06/02 Javascript
JavaScript监听触摸事件代码实例
2019/12/30 Javascript
基于redis的小程序登录实现方法流程分析
2020/05/25 Javascript
JS实现audio音频剪裁剪切复制播放与上传(步骤详解)
2020/07/28 Javascript
详解Vue.js3.0 组件是如何渲染为DOM的
2020/11/10 Javascript
浅谈Python浅拷贝、深拷贝及引用机制
2016/12/15 Python
Python正则表达式教程之一:基础篇
2017/03/02 Python
Python下调用Linux的Shell命令的方法
2018/06/12 Python
Python通过paramiko远程下载Linux服务器上的文件实例
2018/12/27 Python
django使用xadmin的全局配置详解
2019/11/15 Python
解决pyshp UnicodeDecodeError的问题
2019/12/06 Python
python数据库操作mysql:pymysql、sqlalchemy常见用法详解
2020/03/30 Python
Python基于QQ邮箱实现SSL发送
2020/04/26 Python
Matplotlib.pyplot 三维绘图的实现示例
2020/07/28 Python
Pretty Little Thing爱尔兰:时尚女性服饰
2017/03/27 全球购物
花园仓库建筑:Garden Buildings Direct
2018/02/16 全球购物
HSRP的含义以及如何工作
2014/09/10 面试题
土木工程应届生求职信
2013/10/31 职场文书
学生会离职感言
2014/02/11 职场文书
考核评语大全
2014/04/29 职场文书
优秀求职信
2014/05/29 职场文书
校园安全广播稿范文
2014/09/25 职场文书
学生检讨书如何写
2014/10/30 职场文书
物业接待员岗位职责
2015/04/15 职场文书
2015年乡镇工作总结范文
2015/04/22 职场文书
MySQL之高可用集群部署及故障切换实现
2021/04/22 MySQL
「天才王子的赤字国家重生术」妮妮姆·拉雷粘土人开订
2022/03/21 日漫