pandas数据分组和聚合操作方法


Posted in Python onApril 11, 2018

《Python for Data Analysis》

GroupBy

分组运算:split-apply-combine(拆分-应用-合并)

DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然后,将一个函数应用到各个分组并产生新值。最后,所有这些函数的执行结果会被合并到最终的结果对象中去。

GroupBy的size方法可以返回一个含有分组大小的Series。

对分组进行迭代

for (k1,k2), group in df.groupby(['key1','key2']):
 print k1,k2
 print group

选取一个或一组列

df.groupby(['key1','key2'])[['data2']].mean()

通过字典或Series进行分组

只需将字典或Series传给groupby即可。

通过函数分组

people.groupby(len).sum() #根据人名的长度进行分组

通过索引级别分组

层次化索引数据,根据索引级别进行聚合,通过level关键字传入级别编号或名称。

df.groupby(level='cty',axis=1).count()

数据聚合

经过优化的groupby方法

函数名 说明
count 分组中非NA值得数量
sum 非NA值的和
mean 非NA值的平均值
median 非NA值的算术平均数
std、var 无偏(分母为n-1)标准差和方差
min、max 非NA值的最小值和最大值
prod 非NA值的积
first、last 第一个和最后一个非NA值

对于上述描述统计方法,可以将函数名以字符串的形式传入agg方法。例如:grouped.agg(['mean', 'std'])

如果要使用自己的聚合函数,只需将其传入aggregate或agg方法即可

def peak_to_peak(arr):
 return arr.max() - arr.min()
grouped.agg(peak_to_peak)

面向列的多函数应用,可以对不同的列使用不同的聚合函数或者一次应用多个函数。

如果传入一组函数或函数名,得到的DataFrame的列就会以相应的函数命名

如果传入的是一个由(name,function)元组组成的列表,各个元组的第一个元素就会被用作DataFrame的列名。

不同的列使用不同的聚合函数也可以向agg传入一个从列名映射到函数的字典

grouped.agg(['mean', 'std', peak_to_peak]) # 1
grouped.agg([('foo', 'mean'), ('bar', np.std)]) # 2
functions = ['count', 'mean', 'max']
result = grouped['tip', 'bill'].agg(functions) # 3
grouped.agg({'tip' : np.max, 'bill' : 'sum'}) # 4

分组级运算和转换

transform

transform会将一个函数应用到各个分组,然后将结果放置到适当的位置上。如果各个分组产生的是一个标量值,则该值就会被广播出去。

apply

一般性的“拆分-应用-合并”

tips.groupby('smoker').apply(top)相当于top函数在DataFrame的各个片段上调用,然后结果由pandas.concat组装到一起,并以分组名称进行了标记。,于是,最终结果就有了一个层次化索引,其内层索引值来自于原DataFrame.

禁止分组键: 分组键会跟原始对象的索引共同构成结果对象中的层次化索引。将group_keys=False传入groupby即可禁止该效果。tips.groupby('smoker', group_keys=False).apply(top)

在GroupBy对象上调用describe相当于f = lambda x : x.describe(); grouped.apply(f).

数据汇总工具

透视表 pivot_table

根据一个或多个键对数据进行聚合,并根据行和列上的分组键将数据分配到各个矩形区域。

tips.pivot_table('tip_pct', index=['time', 'size', 'smoker'], 
columns='day', aggfunc='mean', fill_value=0)

参数名 说明
values 待聚合的列的名称。默认所有列
rows 用于分组的列名或者其他分组键,出现在结果透视表的行
cols 用于分组的列名或者其他分组键,出现在结果透视表的列
aggfunc 聚合函数或函数列表,默认“mean”。可以是任何对groupby有效的函数
fill_value 用于替换结果表中缺失值
margins 添加行/列小计和总计,默认为False

交叉表 crosstab

是一种用于计算分组频率的特殊透视表。

pd.crosstab([tips.time, tips.day], tips.smoker, margins=True)

以上这篇pandas数据分组和聚合操作方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中关键字is与==的区别简述
Jul 31 Python
Python实现的一个自动售饮料程序代码分享
Aug 25 Python
Python实现将n个点均匀地分布在球面上的方法
Mar 12 Python
python字符串,数值计算
Oct 05 Python
Python实现的下载网页源码功能示例
Jun 13 Python
Python 将RGB图像转换为Pytho灰度图像的实例
Nov 14 Python
删除python pandas.DataFrame 的多重index实例
Jun 08 Python
Python反射和内置方法重写操作详解
Aug 27 Python
python openCV获取人脸部分并存储功能
Aug 28 Python
详解python字符串驻留技术
May 21 Python
python 办公自动化——基于pyqt5和openpyxl统计符合要求的名单
May 25 Python
Python天气语音播报小助手
Sep 25 Python
使用pandas对矢量化数据进行替换处理的方法
Apr 11 #Python
pandas数据框,统计某列数据对应的个数方法
Apr 11 #Python
pandas按若干个列的组合条件筛选数据的方法
Apr 11 #Python
pandas对指定列进行填充的方法
Apr 11 #Python
Python入门学习指南分享
Apr 11 #Python
对numpy和pandas中数组的合并和拆分详解
Apr 11 #Python
pandas 取出表中一列数据所有的值并转换为array类型的方法
Apr 11 #Python
You might like
牡丹941资料
2021/03/01 无线电
PHP多线程批量采集下载美女图片的实现代码(续)
2013/06/03 PHP
ThinkPHP3.1新特性之动态设置自动完成及自动验证示例代码
2014/06/23 PHP
php实现微信扫码支付
2017/03/26 PHP
用Javascript评估用户输入密码的强度(Knockout版)
2011/11/30 Javascript
jQuery的:parent选择器定义和用法
2014/07/01 Javascript
javascript获取四位数字或者字母的随机数
2015/01/09 Javascript
jQuery实现切换字体大小的方法
2015/03/10 Javascript
使用jquery制作弹出框效果
2015/04/03 Javascript
javascript随机抽取0-100之间不重复的10个数
2016/02/25 Javascript
element-ui 的el-button组件中添加自定义颜色和图标的实现方法
2018/10/26 Javascript
js实现图片3D轮播效果
2019/09/21 Javascript
解决vue语法会有延迟加载显现{{xxx}}的问题
2019/11/14 Javascript
JavaScript进阶(一)变量声明提升实例分析
2020/05/09 Javascript
JS寄快递地址智能解析的实现代码
2020/07/16 Javascript
python实现提取百度搜索结果的方法
2015/05/19 Python
Python中MySQL数据迁移到MongoDB脚本的方法
2016/04/28 Python
Python实现一个简单的验证码程序
2017/11/03 Python
Python中import机制详解
2017/11/14 Python
在PyCharm环境中使用Jupyter Notebook的两种方法总结
2018/05/24 Python
python抖音表白程序源代码
2019/04/07 Python
Python中字符串String的基本内置函数与过滤字符模块函数的基本用法
2019/05/27 Python
python异常触发及自定义异常类解析
2019/08/06 Python
Python判断字符串是否为空和null方法实例
2020/04/26 Python
Python matplotlib 绘制双Y轴曲线图的示例代码
2020/06/12 Python
Python字典fromkeys()方法使用代码实例
2020/07/20 Python
python 使用三引号时容易犯的小错误
2020/10/21 Python
同事吵架检讨书
2014/02/05 职场文书
2015年元旦文艺汇演主持词
2014/03/26 职场文书
企业法人授权委托书
2014/04/03 职场文书
企业挂职心得体会
2014/09/10 职场文书
退休党员个人对照检查材料思想汇报
2014/09/29 职场文书
告知书格式
2015/07/01 职场文书
七年级话题作文之执着
2019/11/19 职场文书
nginx 防盗链防爬虫配置详解
2021/03/31 Servers
pandas数值排序的实现实例
2021/07/25 Python