pandas分批读取大数据集教程


Posted in Python onJune 06, 2020

如果你的电脑内存较小那么想在本地做一些事情是很有局限性的(哭丧脸),比如想拿一个kaggle上面的竞赛来练练手,你会发现多数训练数据集都是大几G或者几十G的,自己那小破电脑根本跑不起来。行,你有8000w条样本你牛逼,我就取400w条出来跑跑总行了吧(狡滑脸)。

下图是2015年kaggle上一个CTR预估比赛的数据集:

pandas分批读取大数据集教程

看到train了吧,原始数据集6个G,特征工程后得多大?那我就取400w出来train。为了节省时间和完整介绍分批读入数据的功能,这里以test数据集为例演示。其实就是使用pandas读取数据集时加入参数chunksize。

pandas分批读取大数据集教程

可以通过设置chunksize大小分批读入,也可以设置iterator=True后通过get_chunk选取任意行。

当然将分批读入的数据合并后就是整个数据集了。

pandas分批读取大数据集教程

ok了!

补充知识:用Pandas 处理大数据的3种超级方法

易上手, 文档丰富的Pandas 已经成为时下最火的数据处理库。此外,Pandas数据处理能力也一流。

其实无论你使用什么库,大量的数据处理起来往往回遇到新的挑战。

数据处理时,往往会遇到没有足够内存(RAM)这个硬件问题。 企业往往需要能够存够数百, 乃至数千 的GB 数据。

即便你的计算机恰好有足够的内存来存储这些数据, 但是读取数据到硬盘依旧非常耗时。

别担心! Pandas 数据库会帮我们摆脱这种困境。 这篇文章包含3种方法来减少数据大小,并且加快数据读取速度。 我用这些方法,把超过100GB 的数据, 压缩到了64GB 甚至32GB 的内存大小。

快来看看这三个妙招吧。

数据分块

csv 格式是一种易储存, 易更改并且用户易读取的格式。 pandas 有read_csv ()方法来上传数据,存储为CSV 格式。当遇到CSV 文件过大,导致内存不足的问题该怎么办呢?试试强大的pandas 工具吧!我们先把整个文件拆分成小块。这里,我们把拆分的小块称为chunk。

一个chunk 就是我们数据的一个小组。 Chunk 的大小主要依据我们内存的大小,自行决定。

过程如下:

1.读取一块数据。

2.分析数据。

3.保存该块数据的分析结果。

4.重复1-3步骤,直到所有chunk 分析完毕。

5.把所有的chunk 合并在一起。

我们可以通过read_csv()方法Chunksize来完成上述步骤。 Chunksize是指pandas 一次能读取到多少行csv文件。这个当然也是建立在RAM 内存容量的基础上。
假如我们认为数据呈现高斯分布时, 我们可以在一个chunk 上, 进行数据处理和视觉化, 这样会提高准确率。

当数据稍微复杂时, 例如呈现泊松分布时, 我们最好能一块块筛选,然后把每一小块整合在一起。 然后再进行分析。很多时候, 我们往往删除太多的不相关列,或者删除有值行。 我们可以在每个chunk 上,删除不相关数据, 然后再把数据整合在一起,最后再进行数据分析。

代码如下:

pandas分批读取大数据集教程

删除数据

有时候, 我们一眼就能看到需要分析的列。事实上, 通常名字,账号等列,我们是不做分析的。

读取数据前, 先跳过这些无用的列,可以帮我们节省很多内存。 Pandas 可以允许我们选择想要读取的列。

pandas分批读取大数据集教程

把包含无用信息的列删除掉, 往往给我们节省了大量内存。

此外,我们还可以把有缺失值的行,或者是包含“NA” 的行删除掉。 通过dropna()方法可以实现:

pandas分批读取大数据集教程

有几个非常有用的参数,可以传给dropna():

how: 可选项:“any”(该行的任意一列如果出现”NA”, 删除该行)

“all” (只有某行所有数数据全部是”NA” 时才删除)

thresh: 设定某行最多包含多少个NA 时,才进行删除

subset: 选定某个子集,进行NA 查找

可以通过这些参数, 尤其是thresh 和 subset 两个参数可以决定某行是否被删除掉。

Pandas 在读取信息的时候,无法删除列。但是我们可以在每个chunk 上,进行上述操作。

为列设定不同的数据类型

数据科学家新手往往不会对数据类型考虑太多。 当处理数据越来越多时, 就非常有必要考虑数据类型了。

行业常用的解决方法是从数据文件中,读取数据, 然后一列列设置数据类型。 但当数据量非常大时, 我们往往担心内存空间不够用。

在CSV 文件中,例如某列是浮点数, 它往往会占据更多的存储空间。 例如, 当我们下载数据来预测股票信息时, 价格往往以32位浮点数形式存储。

但是,我们真的需要32位浮点数码? 大多数情况下, 股票价格以小数点后保留两位数据进行交易。 即便我们想看到更精确的数据, 16位浮点数已经足够了。

我们往往会在读取数据的时候, 设置数据类型,而不是保留数据原类型。 那样的话,会浪费掉部分内存。

通过read_csv() 中设置dtype参数来完成数据类型设置。还可以设置字典类型,设置该列是键, 设置某列是字典的值。

请看下面的pandas 例子:

pandas分批读取大数据集教程

文章到这里结束了! 希望上述三个方法可以帮你节省时间和内存。

以上这篇pandas分批读取大数据集教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的Numpy入门教程
Apr 26 Python
Python中的引用和拷贝浅析
Nov 22 Python
使用Python的Tornado框架实现一个Web端图书展示页面
Jul 11 Python
python利用标准库如何获取本地IP示例详解
Nov 01 Python
python2.6.6如何升级到python2.7.14
Apr 08 Python
Python神奇的内置函数locals的实例讲解
Feb 22 Python
利用python实现对web服务器的目录探测的方法
Feb 26 Python
Python中的X[:,0]、X[:,1]、X[:,:,0]、X[:,:,1]、X[:,m:n]和X[:,:,m:n]
Feb 13 Python
Python 通过正则表达式快速获取电影的下载地址
Aug 17 Python
Python自动化xpath实现自动抢票抢货
Sep 19 Python
Python 多线程之threading 模块的使用
Apr 14 Python
教你怎么用Python操作MySql数据库
May 31 Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 #Python
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
Jun 06 #Python
python访问hdfs的操作
Jun 06 #Python
Python API 操作Hadoop hdfs详解
Jun 06 #Python
python读取hdfs上的parquet文件方式
Jun 06 #Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
You might like
咖啡的植物学知识
2021/03/03 咖啡文化
php+memcache实现的网站在线人数统计代码
2014/07/04 PHP
PHP中in_array的隐式转换的解决方法
2018/03/06 PHP
php获取微信openid方法总结
2019/10/10 PHP
使用Apache的rewrite
2021/03/09 Servers
让网页根据不同IE版本显示不同的内容
2009/02/08 Javascript
jQuery代码优化之基本事件
2011/11/01 Javascript
密码强度检测效果实现原理与代码
2013/01/04 Javascript
js实现字符串的16进制编码不加密
2014/04/25 Javascript
JavaScript中常见获取元素的方法汇总
2015/03/04 Javascript
超赞的动手创建JavaScript框架的详细教程
2015/06/30 Javascript
包含中国城市的javascript对象实例
2015/08/03 Javascript
js实现的简单radio背景颜色选择器代码
2015/08/18 Javascript
微信开发 js实现tabs选项卡效果
2016/10/28 Javascript
jQuery实现html table行Tr的复制、删除、计算功能
2017/07/10 jQuery
关于JavaScript的单双引号嵌套问题
2017/08/20 Javascript
Node.js创建HTTP文件服务器的使用示例
2018/05/11 Javascript
使用vue的transition完成滑动过渡的示例代码
2018/06/25 Javascript
vue中引入第三方字体文件的方法示例
2018/12/17 Javascript
JS数据类型判断的几种常用方法
2020/07/07 Javascript
vue.js 输入框输入值自动过滤特殊字符替换中问标点操作
2020/08/31 Javascript
python实现图片文件批量重命名
2020/03/23 Python
django 删除数据库表后重新同步的方法
2018/05/27 Python
python3实现点餐系统
2019/01/24 Python
基于Python+Appium实现京东双十一自动领金币功能
2019/10/31 Python
pycharm远程连接服务器并配置python interpreter的方法
2020/12/23 Python
CSS3弹性盒模型开发笔记(二)
2016/04/26 HTML / CSS
CSS3中的transform属性进行2D和3D变换的基本用法
2016/05/12 HTML / CSS
Abbacino官网:包、钱包和女士配饰
2019/04/15 全球购物
质检部职责
2013/12/28 职场文书
大家检讨书5000字
2014/02/03 职场文书
食品安全责任书
2014/04/15 职场文书
研发工程师岗位职责
2014/04/28 职场文书
2015年乡镇流动人口工作总结
2015/05/12 职场文书
2016拓展训练心得体会范文
2016/01/12 职场文书
教你如何让spark sql写mysql的时候支持update操作
2022/02/15 MySQL