pandas分批读取大数据集教程


Posted in Python onJune 06, 2020

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的(哭丧脸),比如想拿一个kaggle上面的竞赛来练练手,你会发现多数训练数据集都是大几G或者几十G的,自己那小破电脑根本跑不起来。行,你有8000w条样本你牛逼,我就取400w条出来跑跑总行了吧(狡滑脸)。

下图是2015年kaggle上一个CTR预估比赛的数据集:

pandas分批读取大数据集教程

看到train了吧,原始数据集6个G,特征工程后得多大?那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功能,这里以test数据集为例演示。其实就是使用pandas读取数据集时加入参数chunksize。

pandas分批读取大数据集教程

可以通过设置chunksize大小分批读入,也可以设置iterator=True后通过get_chunk选取任意行。

当然将分批读入的数据合并后就是整个数据集了。

pandas分批读取大数据集教程

ok了!

补充知识:用Pandas 处理大数据的3种超级方法

易上手, 文档丰富的Pandas 已经成为时下最火的数据处理库。此外,Pandas数据处理能力也一流。

其实无论你使用什么库,大量的数据处理起来往往回遇到新的挑战。

数据处理时,往往会遇到没有足够内存(RAM)这个硬件问题。 企业往往需要能够存够数百, 乃至数千 的GB 数据。

即便你的计算机恰好有足够的内存来存储这些数据, 但是读取数据到硬盘依旧非常耗时。

别担心! Pandas 数据库会帮我们摆脱这种困境。 这篇文章包含3种方法来减少数据大小,并且加快数据读取速度。 我用这些方法,把超过100GB 的数据, 压缩到了64GB 甚至32GB 的内存大小。

快来看看这三个妙招吧。

数据分块

csv 格式是一种易储存, 易更改并且用户易读取的格式。 pandas 有read_csv ()方法来上传数据,存储为CSV 格式。当遇到CSV 文件过大,导致内存不足的问题该怎么办呢?试试强大的pandas 工具吧!我们先把整个文件拆分成小块。这里,我们把拆分的小块称为chunk。

一个chunk 就是我们数据的一个小组。 Chunk 的大小主要依据我们内存的大小,自行决定。

过程如下:

1.读取一块数据。

2.分析数据。

3.保存该块数据的分析结果。

4.重复1-3步骤,直到所有chunk 分析完毕。

5.把所有的chunk 合并在一起。

我们可以通过read_csv()方法Chunksize来完成上述步骤。 Chunksize是指pandas 一次能读取到多少行csv文件。这个当然也是建立在RAM 内存容量的基础上。
假如我们认为数据呈现高斯分布时, 我们可以在一个chunk 上, 进行数据处理和视觉化, 这样会提高准确率。

当数据稍微复杂时, 例如呈现泊松分布时, 我们最好能一块块筛选,然后把每一小块整合在一起。 然后再进行分析。很多时候, 我们往往删除太多的不相关列,或者删除有值行。 我们可以在每个chunk 上,删除不相关数据, 然后再把数据整合在一起,最后再进行数据分析。

代码如下:

pandas分批读取大数据集教程

删除数据

有时候, 我们一眼就能看到需要分析的列。事实上, 通常名字,账号等列,我们是不做分析的。

读取数据前, 先跳过这些无用的列,可以帮我们节省很多内存。 Pandas 可以允许我们选择想要读取的列。

pandas分批读取大数据集教程

把包含无用信息的列删除掉, 往往给我们节省了大量内存。

此外,我们还可以把有缺失值的行,或者是包含“NA” 的行删除掉。 通过dropna()方法可以实现:

pandas分批读取大数据集教程

有几个非常有用的参数,可以传给dropna():

how: 可选项:“any”(该行的任意一列如果出现”NA”, 删除该行)

“all” (只有某行所有数数据全部是”NA” 时才删除)

thresh: 设定某行最多包含多少个NA 时,才进行删除

subset: 选定某个子集,进行NA 查找

可以通过这些参数, 尤其是thresh 和 subset 两个参数可以决定某行是否被删除掉。

Pandas 在读取信息的时候,无法删除列。但是我们可以在每个chunk 上,进行上述操作。

为列设定不同的数据类型

数据科学家新手往往不会对数据类型考虑太多。 当处理数据越来越多时, 就非常有必要考虑数据类型了。

行业常用的解决方法是从数据文件中,读取数据, 然后一列列设置数据类型。 但当数据量非常大时, 我们往往担心内存空间不够用。

在CSV 文件中,例如某列是浮点数, 它往往会占据更多的存储空间。 例如, 当我们下载数据来预测股票信息时, 价格往往以32位浮点数形式存储。

但是,我们真的需要32位浮点数码? 大多数情况下, 股票价格以小数点后保留两位数据进行交易。 即便我们想看到更精确的数据, 16位浮点数已经足够了。

我们往往会在读取数据的时候, 设置数据类型,而不是保留数据原类型。 那样的话,会浪费掉部分内存。

通过read_csv() 中设置dtype参数来完成数据类型设置。还可以设置字典类型,设置该列是键, 设置某列是字典的值。

请看下面的pandas 例子:

pandas分批读取大数据集教程

文章到这里结束了! 希望上述三个方法可以帮你节省时间和内存。

以上这篇pandas分批读取大数据集教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
浅析Python的web.py框架中url的设定方法
Jul 11 Python
tensorflow中next_batch的具体使用
Feb 02 Python
python实现决策树、随机森林的简单原理
Mar 26 Python
Python图像处理之识别图像中的文字(实例讲解)
May 10 Python
Python实现批量执行同目录下的py文件方法
Jan 11 Python
windows10下安装TensorFlow Object Detection API的步骤
Jun 13 Python
解决Jupyter NoteBook输出的图表太小看不清问题
Apr 16 Python
Python实现CAN报文转换工具教程
May 05 Python
PyTorch-GPU加速实例
Jun 23 Python
python help函数实例用法
Dec 06 Python
python Timer 类使用介绍
Dec 28 Python
Python实现天气查询软件
Jun 07 Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 #Python
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
Jun 06 #Python
python访问hdfs的操作
Jun 06 #Python
Python API 操作Hadoop hdfs详解
Jun 06 #Python
python读取hdfs上的parquet文件方式
Jun 06 #Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
You might like
thinkphp autoload 命名空间自定义 namespace
2015/07/17 PHP
PHP 文件锁与进程锁的使用示例
2017/08/07 PHP
PHP获取数组中指定的一列实例
2017/12/27 PHP
仅IE不支持setTimeout/setInterval函数的第三个以上参数
2011/05/25 Javascript
javascript算法题 求任意一个1-9位不重复的N位数在该组合中的大小排列序号
2012/07/21 Javascript
javascript中if和switch,==和===详解
2015/07/30 Javascript
JavaScript知识点总结(五)之Javascript中两个等于号(==)和三个等于号(===)的区别
2016/05/31 Javascript
jQuery实现移动端手机商城购物车功能
2016/09/24 Javascript
JSP防止网页刷新重复提交数据的几种方法
2016/11/19 Javascript
js移动焦点到最后位置的简单方法
2016/11/25 Javascript
jQuery实现页面倒计时并刷新效果
2017/03/13 Javascript
详解用函数式编程对JavaScript进行断舍离
2017/09/18 Javascript
vue、react等单页面项目应该这样子部署到服务器
2018/01/03 Javascript
JavaScript中严格判断NaN的方法
2018/02/16 Javascript
使用vue中的v-for遍历二维数组的方法
2018/03/07 Javascript
使用vue根据状态添加列表数据和删除列表数据的实例
2018/09/29 Javascript
超好用的jQuery分页插件jpaginate用法示例【附源码下载】
2018/12/06 jQuery
es6中使用map简化复杂条件判断操作实例详解
2020/02/19 Javascript
vue v-for出来的列表,点击某个li使得当前被点击的li字体变红操作
2020/07/17 Javascript
学习python (2)
2006/10/31 Python
Mac 上切换Python多版本
2017/06/17 Python
Python编程之基于概率论的分类方法:朴素贝叶斯
2017/11/11 Python
python opencv旋转图像(保持图像不被裁减)
2018/07/26 Python
python禁用键鼠与提权代码实例
2019/08/16 Python
戴尔美国官网:Dell
2016/08/31 全球购物
意大利团购网站:Groupon意大利
2016/10/11 全球购物
泰国在线书店:SE-ED
2020/06/21 全球购物
年度考核自我鉴定
2013/11/09 职场文书
青年教师典范事迹材料
2014/01/31 职场文书
初中同学聚会邀请函
2014/02/03 职场文书
2014教育局对照检查材料思想汇报
2014/09/23 职场文书
民主评议党员自我评议范文2014
2014/09/26 职场文书
2014年小学数学教师工作总结
2014/12/03 职场文书
python制作图形界面的2048游戏, 基于tkinter
2021/04/06 Python
java后台调用接口及处理跨域问题的解决
2022/03/24 Java/Android
SpringBoot全局异常处理方案分享
2022/05/25 Java/Android