pandas数据分组和聚合操作方法


Posted in Python onApril 11, 2018

《Python for Data Analysis》

GroupBy

分组运算:split-apply-combine(拆分-应用-合并)

DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然后,将一个函数应用到各个分组并产生新值。最后,所有这些函数的执行结果会被合并到最终的结果对象中去。

GroupBy的size方法可以返回一个含有分组大小的Series。

对分组进行迭代

for (k1,k2), group in df.groupby(['key1','key2']):
 print k1,k2
 print group

选取一个或一组列

df.groupby(['key1','key2'])[['data2']].mean()

通过字典或Series进行分组

只需将字典或Series传给groupby即可。

通过函数分组

people.groupby(len).sum() #根据人名的长度进行分组

通过索引级别分组

层次化索引数据,根据索引级别进行聚合,通过level关键字传入级别编号或名称。

df.groupby(level='cty',axis=1).count()

数据聚合

经过优化的groupby方法

函数名 说明
count 分组中非NA值得数量
sum 非NA值的和
mean 非NA值的平均值
median 非NA值的算术平均数
std、var 无偏(分母为n-1)标准差和方差
min、max 非NA值的最小值和最大值
prod 非NA值的积
first、last 第一个和最后一个非NA值

对于上述描述统计方法,可以将函数名以字符串的形式传入agg方法。例如:grouped.agg(['mean', 'std'])

如果要使用自己的聚合函数,只需将其传入aggregate或agg方法即可

def peak_to_peak(arr):
 return arr.max() - arr.min()
grouped.agg(peak_to_peak)

面向列的多函数应用,可以对不同的列使用不同的聚合函数或者一次应用多个函数。

如果传入一组函数或函数名,得到的DataFrame的列就会以相应的函数命名

如果传入的是一个由(name,function)元组组成的列表,各个元组的第一个元素就会被用作DataFrame的列名。

不同的列使用不同的聚合函数也可以向agg传入一个从列名映射到函数的字典

grouped.agg(['mean', 'std', peak_to_peak]) # 1
grouped.agg([('foo', 'mean'), ('bar', np.std)]) # 2
functions = ['count', 'mean', 'max']
result = grouped['tip', 'bill'].agg(functions) # 3
grouped.agg({'tip' : np.max, 'bill' : 'sum'}) # 4

分组级运算和转换

transform

transform会将一个函数应用到各个分组,然后将结果放置到适当的位置上。如果各个分组产生的是一个标量值,则该值就会被广播出去。

apply

一般性的“拆分-应用-合并”

tips.groupby('smoker').apply(top)相当于top函数在DataFrame的各个片段上调用,然后结果由pandas.concat组装到一起,并以分组名称进行了标记。,于是,最终结果就有了一个层次化索引,其内层索引值来自于原DataFrame.

禁止分组键: 分组键会跟原始对象的索引共同构成结果对象中的层次化索引。将group_keys=False传入groupby即可禁止该效果。tips.groupby('smoker', group_keys=False).apply(top)

在GroupBy对象上调用describe相当于f = lambda x : x.describe(); grouped.apply(f).

数据汇总工具

透视表 pivot_table

根据一个或多个键对数据进行聚合,并根据行和列上的分组键将数据分配到各个矩形区域。

tips.pivot_table('tip_pct', index=['time', 'size', 'smoker'], 
columns='day', aggfunc='mean', fill_value=0)

参数名 说明
values 待聚合的列的名称。默认所有列
rows 用于分组的列名或者其他分组键,出现在结果透视表的行
cols 用于分组的列名或者其他分组键,出现在结果透视表的列
aggfunc 聚合函数或函数列表,默认“mean”。可以是任何对groupby有效的函数
fill_value 用于替换结果表中缺失值
margins 添加行/列小计和总计,默认为False

交叉表 crosstab

是一种用于计算分组频率的特殊透视表。

pd.crosstab([tips.time, tips.day], tips.smoker, margins=True)

以上这篇pandas数据分组和聚合操作方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python Web框架Flask中使用七牛云存储实例
Feb 08 Python
python实现批量监控网站
Sep 09 Python
Python使用三种方法实现PCA算法
Dec 12 Python
Tensorflow 训练自己的数据集将数据直接导入到内存
Jun 19 Python
TensorFlow实现Logistic回归
Sep 07 Python
python 3.6.4 安装配置方法图文教程
Sep 18 Python
解决pycharm运行时interpreter为空的问题
Oct 29 Python
python修改txt文件中的某一项方法
Dec 29 Python
Python实现12306火车票抢票系统
Jul 04 Python
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
Jan 15 Python
python 机器学习的标准化、归一化、正则化、离散化和白化
Apr 16 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 Python
使用pandas对矢量化数据进行替换处理的方法
Apr 11 #Python
pandas数据框,统计某列数据对应的个数方法
Apr 11 #Python
pandas按若干个列的组合条件筛选数据的方法
Apr 11 #Python
pandas对指定列进行填充的方法
Apr 11 #Python
Python入门学习指南分享
Apr 11 #Python
对numpy和pandas中数组的合并和拆分详解
Apr 11 #Python
pandas 取出表中一列数据所有的值并转换为array类型的方法
Apr 11 #Python
You might like
第七节 类的静态成员 [7]
2006/10/09 PHP
PHP新手上路(九)
2006/10/09 PHP
解析php中如何调用用户自定义函数
2013/08/06 PHP
ThinkPHP框架设计及扩展详解
2014/11/25 PHP
php批量删除操作(数据访问)
2017/05/23 PHP
Yii框架页面渲染操作实例详解
2019/07/19 PHP
纯JS实现的批量图片预览加载功能
2011/08/14 Javascript
js遍历td tr等html元素
2012/12/13 Javascript
Javascript数组与字典用法分析
2014/12/13 Javascript
JS+CSS实现精美的二级导航效果代码
2015/09/17 Javascript
Window.Open打开窗体和if嵌套代码
2016/04/15 Javascript
Bootstrap弹出带合法性检查的登录框实例代码【推荐】
2016/06/23 Javascript
AngularJS ng-bind 指令简单实现
2016/07/30 Javascript
走进AngularJs之过滤器(filter)详解
2017/02/17 Javascript
jquery实现手机端单店铺购物车结算删除功能
2017/02/22 Javascript
基于JavaScript实现的快速排序算法分析
2017/04/14 Javascript
jQuery实现动态控制页面元素的方法分析
2017/12/20 jQuery
Vue+Jwt+SpringBoot+Ldap完成登录认证的示例代码
2018/05/21 Javascript
对layer弹出框中icon数字参数的说明介绍
2019/09/04 Javascript
在vue中axios设置timeout超时的操作
2020/09/04 Javascript
vue+axios 拦截器实现统一token的案例
2020/09/11 Javascript
Openlayers实现点闪烁扩散效果
2020/09/24 Javascript
[02:53]DOTA2亚洲邀请赛 NewBee战队巡礼
2015/02/03 DOTA
python设置环境变量的原因和方法
2019/06/24 Python
python如何实现异步调用函数执行
2019/07/08 Python
Ubuntu+python将nii图像保存成png格式
2019/07/18 Python
python db类用法说明
2020/07/07 Python
python 进程池pool使用详解
2020/10/15 Python
CSS3 选择器 基本选择器介绍
2012/01/21 HTML / CSS
C语言笔试题
2014/09/04 面试题
密封类可以有虚函数吗
2014/08/11 面试题
高三学生评语大全
2014/04/25 职场文书
竞选纪律委员演讲稿
2014/09/13 职场文书
具结保证书
2015/01/17 职场文书
农村党支部承诺书
2015/04/30 职场文书
PostgreSQL数据库去除重复数据和运算符的基本查询操作
2022/04/12 PostgreSQL