在Python中利用Pandas库处理大数据的简单介绍


Posted in Python onApril 07, 2015

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:

    硬件环境
        CPU:3.5 GHz Intel Core i7
        内存:32 GB HDDR 3 1600 MHz
        硬盘:3 TB Fusion Drive
    数据分析工具
        Python:2.7.6
        Pandas:0.15.0
        IPython notebook:2.0.0

源数据如下表所示:

在Python中利用Pandas库处理大数据的简单介绍

数据读取

启动IPython notebook,加载pylab环境:

ipython notebook --pylab=inline

Pandas提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。
 
import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=True)
try:
    df = reader.get_chunk(100000000)
except StopIteration:
    print "Iteration is stopped."

在Python中利用Pandas库处理大数据的简单介绍

使用不同分块大小来读取再调用 pandas.concat 连接DataFrame,chunkSize设置在1000万条左右速度优化比较明显。
 

loop = True
chunkSize = 100000
chunks = []
while loop:
  try:
    chunk = reader.get_chunk(chunkSize)
    chunks.append(chunk)
  except StopIteration:
    loop = False
    print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)

下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。

在Python中利用Pandas库处理大数据的简单介绍

在Python中利用Pandas库处理大数据的简单介绍

如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。
数据清洗

Pandas提供了 DataFrame.describe 方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

首先调用 DataFrame.isnull() 方法查看数据表中哪些为空值,与它相反的方法是 DataFrame.notnull() ,Pandas会将表中所有数据进行null计算,以True/False作为结果进行填充,如下图所示:

在Python中利用Pandas库处理大数据的简单介绍

Pandas的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和 DataFrame.dropna() 两种方式,时间分别为367.0秒和345.3秒,但检查时发现 dropna() 之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上 axis 和 how 两个参数:

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在 DataFrame.replace() 中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接、类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04G!

数据处理

使用 DataFrame.dtypes 可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype() 方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。
 

df.groupby(['NO','TIME','SVID']).count() # 分组
fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接
actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表

根据透视表生成的交易/查询比例饼图:

在Python中利用Pandas库处理大数据的简单介绍

将日志时间加入透视表并输出每天的交易/查询比例图:
 

total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')
total_actions.plot(subplots=False, figsize=(18,6), kind='area')

在Python中利用Pandas库处理大数据的简单介绍

除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为 [10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

Python 相关文章推荐
Python接收Gmail新邮件并发送到gtalk的方法
Mar 10 Python
简单谈谈Python中的闭包
Nov 30 Python
python3+PyQt5使用数据库窗口视图
Apr 24 Python
python 地图经纬度转换、纠偏的实例代码
Aug 06 Python
python调用百度语音识别实现大音频文件语音识别功能
Aug 30 Python
Django model update的多种用法介绍
Mar 28 Python
django url到views参数传递的实例
Jul 19 Python
详解Python3 中的字符串格式化语法
Jan 15 Python
python解析xml文件方式(解析、更新、写入)
Mar 05 Python
Python数据可视化实现多种图例代码详解
Jul 14 Python
解决pycharm下载库时出现Failed to install package的问题
Sep 04 Python
Python之matplotlib绘制饼图
Apr 13 Python
详解Python中的join()函数的用法
Apr 07 #Python
Python中用于去除空格的三个函数的使用小结
Apr 07 #Python
简单介绍Python中的len()函数的使用
Apr 07 #Python
Python中endswith()函数的基本使用
Apr 07 #Python
举例详解Python中的split()函数的使用方法
Apr 07 #Python
Python中用startswith()函数判断字符串开头的教程
Apr 07 #Python
把MySQL表结构映射为Python中的对象的教程
Apr 07 #Python
You might like
总结PHP内存释放以及垃圾回收
2018/03/29 PHP
HTML中事件触发列表与解说
2007/07/09 Javascript
来自国外的页面JavaScript文件优化
2010/12/08 Javascript
javascript模拟的Ping效果代码 (Web Ping)
2011/03/13 Javascript
一个判断抢购时间是否到达的简单的js函数
2014/06/23 Javascript
nodejs批量修改文件编码格式
2015/01/22 NodeJs
Javascript数组操作函数总结
2015/02/05 Javascript
jQuery经过一段时间自动隐藏指定元素的方法
2015/03/17 Javascript
JS实现字符串转日期并比较大小实例分析
2015/12/09 Javascript
jquery根据一个值来选中select下的option实例代码
2016/08/29 Javascript
canvas绘制环形进度条
2017/02/23 Javascript
js图片放大镜效果实现方法详解
2020/10/28 Javascript
Vue组件实例间的直接访问实现代码
2017/08/20 Javascript
实例分析JS与Node.js中的事件循环
2017/12/12 Javascript
推荐10款扩展Web表单的JS插件
2017/12/25 Javascript
vueScroll实现移动端下拉刷新、上拉加载
2019/03/22 Javascript
vue指令做滚动加载和监听等
2019/05/26 Javascript
js回调函数原理与用法案例分析
2020/03/04 Javascript
[58:37]Serenity vs Fnatic 2018国际邀请赛淘汰赛BO1 8.21
2018/08/22 DOTA
[00:05]ChinaJoy现场 DOTA2玩家高呼“CN DOTA BEST DOTA”
2019/08/04 DOTA
Python中的字典与成员运算符初步探究
2015/10/13 Python
python开发之字符串string操作方法实例详解
2015/11/12 Python
Python抓取电影天堂电影信息的代码
2016/04/07 Python
Python配置mysql的教程(推荐)
2017/10/13 Python
使用python 和 lint 删除项目无用资源的方法
2017/12/20 Python
Python读取stdin方法实例
2019/05/24 Python
Numpy之reshape()使用详解
2019/12/26 Python
简单总结CSS3中视窗单位Viewport的常见用法
2016/02/04 HTML / CSS
Rodd & Gunn澳大利亚官网:新西兰男装品牌
2018/09/25 全球购物
ShellScript面试题一则-ShellScript编程
2014/06/24 面试题
请用Java实现列出某个目录下的所有文件
2013/09/23 面试题
CSS代码检查工具stylelint的使用方法详解
2021/03/27 HTML / CSS
快餐店的创业计划书范文
2014/01/29 职场文书
个人课题方案
2014/05/08 职场文书
公司法定代表人授权委托书
2014/09/29 职场文书
幼儿园大班毕业评语
2014/12/31 职场文书