在Python中利用Pandas库处理大数据的简单介绍


Posted in Python onApril 07, 2015

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:

    硬件环境
        CPU:3.5 GHz Intel Core i7
        内存:32 GB HDDR 3 1600 MHz
        硬盘:3 TB Fusion Drive
    数据分析工具
        Python:2.7.6
        Pandas:0.15.0
        IPython notebook:2.0.0

源数据如下表所示:

在Python中利用Pandas库处理大数据的简单介绍

数据读取

启动IPython notebook,加载pylab环境:

ipython notebook --pylab=inline

Pandas提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。
 
import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=True)
try:
    df = reader.get_chunk(100000000)
except StopIteration:
    print "Iteration is stopped."

在Python中利用Pandas库处理大数据的简单介绍

使用不同分块大小来读取再调用 pandas.concat 连接DataFrame,chunkSize设置在1000万条左右速度优化比较明显。
 

loop = True
chunkSize = 100000
chunks = []
while loop:
  try:
    chunk = reader.get_chunk(chunkSize)
    chunks.append(chunk)
  except StopIteration:
    loop = False
    print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)

下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。

在Python中利用Pandas库处理大数据的简单介绍

在Python中利用Pandas库处理大数据的简单介绍

如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。
数据清洗

Pandas提供了 DataFrame.describe 方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

首先调用 DataFrame.isnull() 方法查看数据表中哪些为空值,与它相反的方法是 DataFrame.notnull() ,Pandas会将表中所有数据进行null计算,以True/False作为结果进行填充,如下图所示:

在Python中利用Pandas库处理大数据的简单介绍

Pandas的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和 DataFrame.dropna() 两种方式,时间分别为367.0秒和345.3秒,但检查时发现 dropna() 之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上 axis 和 how 两个参数:

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在 DataFrame.replace() 中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接、类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04G!

数据处理

使用 DataFrame.dtypes 可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype() 方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。
 

df.groupby(['NO','TIME','SVID']).count() # 分组
fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接
actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表

根据透视表生成的交易/查询比例饼图:

在Python中利用Pandas库处理大数据的简单介绍

将日志时间加入透视表并输出每天的交易/查询比例图:
 

total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')
total_actions.plot(subplots=False, figsize=(18,6), kind='area')

在Python中利用Pandas库处理大数据的简单介绍

除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为 [10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

Python 相关文章推荐
python网络编程学习笔记(九):数据库客户端 DB-API
Jun 09 Python
Python教程之全局变量用法
Jun 27 Python
在 Python 应用中使用 MongoDB的方法
Jan 05 Python
Python中int()函数的用法浅析
Oct 17 Python
python针对excel的操作技巧
Mar 13 Python
python 按不同维度求和,最值,均值的实例
Jun 28 Python
Django ORM 聚合查询和分组查询实现详解
Aug 09 Python
python 模拟创建seafile 目录操作示例
Sep 26 Python
Pytorch在NLP中的简单应用详解
Jan 08 Python
Python+unittest+requests+excel实现接口自动化测试框架
Dec 23 Python
python 如何将两个实数矩阵合并为一个复数矩阵
May 19 Python
python迷宫问题深度优先遍历实例
Jun 20 Python
详解Python中的join()函数的用法
Apr 07 #Python
Python中用于去除空格的三个函数的使用小结
Apr 07 #Python
简单介绍Python中的len()函数的使用
Apr 07 #Python
Python中endswith()函数的基本使用
Apr 07 #Python
举例详解Python中的split()函数的使用方法
Apr 07 #Python
Python中用startswith()函数判断字符串开头的教程
Apr 07 #Python
把MySQL表结构映射为Python中的对象的教程
Apr 07 #Python
You might like
实用函数10
2007/11/08 PHP
比较简单的百度网盘文件直链PHP代码
2013/03/24 PHP
PHP遍历目录并返回统计目录大小
2014/06/09 PHP
PHP统计数值数组中出现频率最多的10个数字的方法
2015/04/20 PHP
php文件缓存类用法实例分析
2015/04/22 PHP
thinkPHP实现的联动菜单功能详解
2017/05/05 PHP
PHP接口继承及接口多继承原理与实现方法详解
2017/10/18 PHP
Extjs ajax同步请求时post方式参数发送方式
2009/08/05 Javascript
JavaScript中判断对象类型的几种方法总结
2013/11/11 Javascript
js获取下拉列表的值和元素个数示例
2014/05/07 Javascript
js表格排序实例分析(支持int,float,date,string四种数据类型)
2015/05/06 Javascript
JavaScript函数使用的基本教程
2015/06/04 Javascript
遍历js中对象的属性和值的实例
2016/11/21 Javascript
Vue+jquery实现表格指定列的文字收缩的示例代码
2018/01/09 jQuery
vue mounted 调用两次的完美解决办法
2018/10/29 Javascript
vue 全局环境切换问题
2019/10/27 Javascript
python写入xml文件的方法
2015/05/08 Python
Python中字典的基本知识初步介绍
2015/05/21 Python
解决Python字典写入文件出行首行有空格的问题
2017/09/27 Python
python微信跳一跳系列之色块轮廓定位棋盘
2018/02/26 Python
通过Python 接口使用OpenCV的方法
2018/04/02 Python
对pandas处理json数据的方法详解
2019/02/08 Python
python获取全国城市pm2.5、臭氧等空气质量过程解析
2019/10/12 Python
python 读取数据库并绘图的实例
2019/12/03 Python
Pytorch 神经网络—自定义数据集上实现教程
2020/01/07 Python
opencv中图像叠加/图像融合/按位操作的实现
2020/04/01 Python
什么是python的id函数
2020/06/11 Python
H5 canvas实现贪吃蛇小游戏
2017/07/28 HTML / CSS
iPhoneX安全区域(Safe Area)底部小黑条在微信小程序和H5的屏幕适配
2020/04/08 HTML / CSS
Osklen官方在线商店:巴西服装品牌
2019/04/25 全球购物
荷兰的时尚市场:To Be Dressed
2019/05/06 全球购物
俄罗斯披萨、寿司和面食送货到家服务:2 Берега
2019/12/15 全球购物
2014年学生资助工作总结
2014/12/18 职场文书
上学路上观后感
2015/06/16 职场文书
体育教师研修感悟
2015/11/18 职场文书
MySQL中LAG()函数和LEAD()函数的使用
2022/08/14 MySQL