在Python中利用Pandas库处理大数据的简单介绍


Posted in Python onApril 07, 2015

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:

    硬件环境
        CPU:3.5 GHz Intel Core i7
        内存:32 GB HDDR 3 1600 MHz
        硬盘:3 TB Fusion Drive
    数据分析工具
        Python:2.7.6
        Pandas:0.15.0
        IPython notebook:2.0.0

源数据如下表所示:

在Python中利用Pandas库处理大数据的简单介绍

数据读取

启动IPython notebook,加载pylab环境:

ipython notebook --pylab=inline

Pandas提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。
 
import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=True)
try:
    df = reader.get_chunk(100000000)
except StopIteration:
    print "Iteration is stopped."

在Python中利用Pandas库处理大数据的简单介绍

使用不同分块大小来读取再调用 pandas.concat 连接DataFrame,chunkSize设置在1000万条左右速度优化比较明显。
 

loop = True
chunkSize = 100000
chunks = []
while loop:
  try:
    chunk = reader.get_chunk(chunkSize)
    chunks.append(chunk)
  except StopIteration:
    loop = False
    print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)

下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。

在Python中利用Pandas库处理大数据的简单介绍

在Python中利用Pandas库处理大数据的简单介绍

如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。
数据清洗

Pandas提供了 DataFrame.describe 方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

首先调用 DataFrame.isnull() 方法查看数据表中哪些为空值,与它相反的方法是 DataFrame.notnull() ,Pandas会将表中所有数据进行null计算,以True/False作为结果进行填充,如下图所示:

在Python中利用Pandas库处理大数据的简单介绍

Pandas的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和 DataFrame.dropna() 两种方式,时间分别为367.0秒和345.3秒,但检查时发现 dropna() 之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上 axis 和 how 两个参数:

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在 DataFrame.replace() 中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接、类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04G!

数据处理

使用 DataFrame.dtypes 可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype() 方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。
 

df.groupby(['NO','TIME','SVID']).count() # 分组
fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接
actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表

根据透视表生成的交易/查询比例饼图:

在Python中利用Pandas库处理大数据的简单介绍

将日志时间加入透视表并输出每天的交易/查询比例图:
 

total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')
total_actions.plot(subplots=False, figsize=(18,6), kind='area')

在Python中利用Pandas库处理大数据的简单介绍

除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为 [10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

Python 相关文章推荐
跟老齐学Python之编写类之三子类
Oct 11 Python
python标准算法实现数组全排列的方法
Mar 17 Python
Python中列表和元组的相关语句和方法讲解
Aug 20 Python
Python快速从注释生成文档的方法
Dec 26 Python
Python实现Smtplib发送带有各种附件的邮件实例
Jun 05 Python
Django为窗体加上防机器人的验证码功能过程解析
Aug 14 Python
对python中的装包与解包实例详解
Aug 24 Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 Python
parser.add_argument中的action使用
Apr 20 Python
如何理解python面向对象编程
Jun 01 Python
python自动打开浏览器下载zip并提取内容写入excel
Jan 04 Python
Python 机器学习工具包SKlearn的安装与使用
May 14 Python
详解Python中的join()函数的用法
Apr 07 #Python
Python中用于去除空格的三个函数的使用小结
Apr 07 #Python
简单介绍Python中的len()函数的使用
Apr 07 #Python
Python中endswith()函数的基本使用
Apr 07 #Python
举例详解Python中的split()函数的使用方法
Apr 07 #Python
Python中用startswith()函数判断字符串开头的教程
Apr 07 #Python
把MySQL表结构映射为Python中的对象的教程
Apr 07 #Python
You might like
[EPIC] Larva vs Flash ZvT @ Crossing Field [2017-10-09]
2020/03/17 星际争霸
Thinkphp中的volist标签用法简介
2014/06/18 PHP
9个实用的PHP代码片段分享
2015/01/22 PHP
yii2中使用Active Record模式的方法
2016/01/09 PHP
js下用eval生成JSON对象
2010/09/17 Javascript
javascript验证只能输入数字和一个小数点示例
2013/10/21 Javascript
使用js判断TextBox控件值改变然后出发事件
2014/03/07 Javascript
NodeJS连接MongoDB数据库时报错的快速解决方法
2016/05/13 NodeJs
JavaScript中两个字符串的匹配
2016/06/08 Javascript
easyUI下拉列表点击事件使用方法
2017/05/18 Javascript
Bootstrap输入框组件使用详解
2017/06/09 Javascript
three.js中3D视野的缩放实现代码
2017/11/16 Javascript
vue使用微信扫一扫功能的实现代码
2020/04/11 Javascript
vue使用Sass时报错问题的解决方法
2020/10/14 Javascript
Antd的Table组件嵌套Table以及选择框联动操作
2020/10/24 Javascript
[01:24:09]Ti4 冒泡赛第二轮DK vs C9 1
2014/07/14 DOTA
Python生成pdf文件的方法
2014/08/04 Python
python基础教程之序列详解
2014/08/29 Python
Python解析xml中dom元素的方法
2015/03/12 Python
使用Python从有道词典网页获取单词翻译
2016/07/03 Python
浅析Python中的赋值和深浅拷贝
2017/08/15 Python
python实现批量注册网站用户的示例
2019/02/22 Python
python图形工具turtle绘制国际象棋棋盘
2019/05/23 Python
python自定义时钟类、定时任务类
2021/02/22 Python
结合OpenCV与TensorFlow进行人脸识别的实现
2019/10/10 Python
python中with用法讲解
2020/02/07 Python
数学专业毕业生自荐信
2013/11/10 职场文书
材料物理专业个人求职信
2013/12/15 职场文书
护士自我鉴定怎么写
2014/02/07 职场文书
员工工作表现评语
2014/04/26 职场文书
副乡长群众路线教育实践活动个人对照检查材料
2014/09/19 职场文书
入党现实表现材料
2014/12/23 职场文书
会计工作态度自我评价
2015/03/06 职场文书
公司客户答谢酒会祝酒词
2015/08/11 职场文书
mysql 索引的数据结构为什么要采用B+树
2022/04/26 MySQL
2022微信温控新功能上线
2022/05/09 数码科技