使用Python Pandas处理亿级数据的方法


Posted in Python onJune 24, 2019

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:

硬件环境

  • CPU:3.5 GHz Intel Core i7
  • 内存:32 GB HDDR 3 1600 MHz
  • 硬盘:3 TB Fusion Drive

数据分析工具

  • Python:2.7.6
  • Pandas:0.15.0
  • IPython notebook:2.0.0

源数据如下表所示:

  Table Size Desc
ServiceLogs 98,706,832 rows x 14 columns 8.77 GB 交易日志数据,每个交易会话可以有多条交易
ServiceCodes 286 rows × 8 columns 20 KB 交易分类的字典表

数据读取

启动IPython notebook,加载pylab环境:

ipython notebook --pylab=inline

Pandas提供了IO工具可以将大文件分块读取,测试了一下性能,完整加载9800万条数据也只需要263秒左右,还是相当不错了。

import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=True)
try:
  df = reader.get_chunk(100000000)
except StopIteration:
  print "Iteration is stopped."

  1百万条 1千万条 1亿条
ServiceLogs 1 s 17 s 263 s

使用不同分块大小来读取再调用pandas.concat连接DataFrame,chunkSize设置在1000万条左右速度优化比较明显。

loop = True
chunkSize = 100000
chunks = []
while loop:
  try:
    chunk = reader.get_chunk(chunkSize)
    chunks.append(chunk)
  except StopIteration:
    loop = False
    print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)

下面是统计数据,Read Time是数据读取时间,Total Time是读取和Pandas进行concat操作的时间,根据数据总量来看,对5~50个DataFrame对象进行合并,性能表现比较好。

Chunk Size Read Time (s) Total Time (s) Performance100,000224.418173261.358521200,000232.076794256.6741541,000,000213.128481234.934142√√2,000,000208.410618230.006299√√√5,000,000209.460829230.939319√√√10,000,000207.082081228.135672√√√√20,000,000209.628596230.775713√√√50,000,000222.910643242.405967100,000,000263.574246263.574246

使用Python Pandas处理亿级数据的方法

如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。

数据清洗

Pandas提供了DataFrame.describe方法查看数据摘要,包括数据查看(默认共输出首尾60行数据)和行列统计。由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

首先调用DataFrame.isnull()方法查看数据表中哪些为空值,与它相反的方法是DataFrame.notnull(),Pandas会将表中所有数据进行null计算,以True/False作为结果进行填充,如下图所示:

使用Python Pandas处理亿级数据的方法

Pandas的非空计算速度很快,9800万数据也只需要28.7秒。得到初步信息之后,可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列,和DataFrame.dropna()两种方式,时间分别为367.0秒和345.3秒,但检查时发现 dropna() 之后所有的行都没有了,查了Pandas手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列,需要加上 axis 和 how 两个参数:

df.dropna(axis=1, how='all')

共移除了14列中的6列,时间也只消耗了85.9秒。

接下来是处理剩余行中的空值,经过测试,在DataFrame.replace()中使用空字符串,要比默认的空值NaN节省一些空间;但对整个CSV文件来说,空列只是多存了一个“,”,所以移除的9800万 x 6列也只省下了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说表中的流水号是某两个字段拼接、类型描述等,通过对这些数据的丢弃,新的数据文件大小为4.73GB,足足减少了4.04G!

数据处理

使用DataFrame.dtypes可以查看每列的数据类型,Pandas默认可以读出int和float64,其它的都处理为object,需要转换格式的一般为日期时间。DataFrame.astype()方法可对整个DataFrame或某一列进行数据格式转换,支持Python和NumPy的数据类型。

df['Name'] = df['Name'].astype(np.datetime64)

对数据聚合,我测试了 DataFrame.groupby 和 DataFrame.pivot_table 以及 pandas.merge ,groupby 9800万行 x 3列的时间为99秒,连接表为26秒,生成透视表的速度更快,仅需5秒。

df.groupby(['NO','TIME','SVID']).count() # 分组
fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接
actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表

根据透视表生成的交易/查询比例饼图:

使用Python Pandas处理亿级数据的方法

将日志时间加入透视表并输出每天的交易/查询比例图:

total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count')
total_actions.plot(subplots=False, figsize=(18,6), kind='area')

使用Python Pandas处理亿级数据的方法

除此之外,Pandas提供的DataFrame查询统计功能速度表现也非常优秀,7秒以内就可以查询生成所有类型为交易的数据子表:

tranData = fullData[fullData['Type'] == 'Transaction']

该子表的大小为[10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明,在非“>5TB”数据的情况下,Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用range函数计算一组数和的方法
May 07 Python
Python的网络编程库Gevent的安装及使用技巧
Jun 24 Python
python虚拟环境virtualenv的使用教程
Oct 20 Python
Django自定义manage命令实例代码
Feb 11 Python
Python爬虫之pandas基本安装与使用方法示例
Aug 08 Python
Selenium鼠标与键盘事件常用操作方法示例
Aug 13 Python
python生成器与迭代器详解
Jan 01 Python
Python 隐藏输入密码时屏幕回显的实例
Feb 19 Python
Python使用修饰器进行异常日志记录操作示例
Mar 19 Python
Python内存管理实例分析
Jul 10 Python
使用 Django Highcharts 实现数据可视化过程解析
Jul 31 Python
Python3.6安装卸载、执行命令、执行py文件的方法详解
Feb 20 Python
Python3批量生成带logo的二维码方法
Jun 24 #Python
解决python文件双击运行秒退的问题
Jun 24 #Python
对python中的控制条件、循环和跳出详解
Jun 24 #Python
django框架自定义模板标签(template tag)操作示例
Jun 24 #Python
解决Python内层for循环如何break出外层的循环的问题
Jun 24 #Python
Python 循环终止语句的三种方法小结
Jun 24 #Python
12个Python程序员面试必备问题与答案(小结)
Jun 24 #Python
You might like
如何利用php+mysql保存和输出文件
2006/10/09 PHP
php输出表格的实现代码(修正版)
2010/12/29 PHP
PHP JS Ip地址及域名格式检测代码
2013/09/27 PHP
PHP获取网页标题的3种实现方法代码实例
2014/04/11 PHP
php判断电脑访问、手机访问的例子
2014/05/10 PHP
PHP+JS三级菜单联动菜单实现方法
2016/02/24 PHP
PHP PDO操作MySQL基础教程
2017/06/05 PHP
Laravel学习教程之路由模块
2017/08/18 PHP
PHP函数用法详解【初始化、嵌套、内置函数等】
2020/06/02 PHP
【消息提示组件】,兼容IE6/7&&FF2
2007/09/04 Javascript
checkbox设置复选框的只读效果不让用户勾选
2013/08/12 Javascript
引用外部脚本时script标签关闭的写法
2014/01/20 Javascript
JavaScript的事件代理和委托实例分析
2015/03/25 Javascript
js代码实现无缝滚动(文字和图片)
2015/08/20 Javascript
Nodejs express框架一个工程中同时使用ejs模版和jade模版
2015/12/28 NodeJs
JavaScript小技巧整理
2015/12/30 Javascript
一起学写js Calender日历控件
2016/04/14 Javascript
浅谈jQuery操作类数组的工具方法
2016/12/23 Javascript
JavaScript实现多重继承的方法分析
2018/01/09 Javascript
使用webpack搭建react开发环境的方法
2018/05/15 Javascript
使用javascript做时间倒数读秒功能的实例
2019/01/23 Javascript
如何使用JavaScript实现栈与队列
2019/06/24 Javascript
vue+koa2搭建mock数据环境的详细教程
2020/05/18 Javascript
Python 12306抢火车票脚本
2018/02/07 Python
Python元组及文件核心对象类型详解
2018/02/11 Python
python如何压缩新文件到已有ZIP文件
2018/03/14 Python
Python获取指定字符前面的所有字符方法
2018/05/02 Python
在PyCharm下使用 ipython 交互式编程的方法
2019/01/17 Python
Python时间序列处理之ARIMA模型的使用讲解
2019/04/02 Python
Python操作注册表详细步骤介绍
2020/02/05 Python
Python 爬取淘宝商品信息栏目的实现
2021/02/06 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
2021/03/03 Python
Fossil加拿大官网:化石手表、手袋、首饰及配饰
2019/04/23 全球购物
教师节宣传方案
2014/05/23 职场文书
特种设备安全管理制度
2015/08/06 职场文书
培训后的感想
2015/08/07 职场文书