pandas之分组groupby()的使用整理与总结


Posted in Python onJune 18, 2020

前言

在使用pandas的时候,有些场景需要对数据内部进行分组处理,如一组全校学生成绩的数据,我们想通过班级进行分组,或者再对班级分组后的性别进行分组来进行分析,这时通过pandas下的groupby()函数就可以解决。在使用pandas进行数据分析时,groupby()函数将会是一个数据分析辅助的利器。

groupby的作用可以参考 超好用的 pandas 之 groupby 中作者的插图进行直观的理解:

pandas之分组groupby()的使用整理与总结

准备

读入的数据是一段学生信息的数据,下面将以这个数据为例进行整理grouby()函数的使用:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('./data.csv')
print(df)
Name Gender Age Score
0   Alen  Male  18   80
1   Bob  Male  19   90
2   Cidy Female  18   93
3  Daniel  Male  20   87
4  Ellen Female  17   96
5 Frankie  Male  21  100
6   Gate  Male  20   88
7   Hebe Female  22   98

基本操作

在进行对groupby函数进行学习之前,首先需要明确的是,通过对DataFrame对象调用groupby()函数返回的结果是一个DataFrameGroupBy对象,而不是一个DataFrame或者Series对象,所以,它们中的一些方法或者函数是无法直接调用的,需要按照GroupBy对象中具有的函数和方法进行调用。

grouped = df.groupby('Gender')
print(type(grouped))
print(grouped)

<class 'pandas.core.groupby.groupby.DataFrameGroupBy'>

分组时,不仅仅可以指定一个列名,也可以指定多个列名:

grouped = df.groupby('Gender')
grouped_muti = df.groupby(['Gender', 'Age'])

print(grouped.size())
print(grouped_muti.size())

Gender
Female  3
Male   5
dtype: int64

Gender Age
Female 17   1
    18   1
    22   1
Male  18   1
    19   1
    20   2
    21   1
dtype: int64

指定多个列名个单个列名后的区别在于,分组的主键或者索引(indice)将一个是单个主键,另一个则是一个元组的形式:

print(grouped.get_group('Female'))
print(grouped_muti.get_group(('Female', 17)))

  Name Gender Age Score
2  Cidy Female  18   93
4 Ellen Female  17   96
7  Hebe Female  22   98
  Name Gender Age Score
4 Ellen Female  17   96

通过调用get_group()函数可以返回一个按照分组得到的DataFrame对象,所以接下来的使用就可以按照·DataFrame·对象来使用。如果想让这个DataFrame对象的索引重新定义可以通过:

df = grouped.get_group('Female').reset_index()
print(df)

  index  Name Gender Age Score
0   2  Cidy Female  18   93
1   4 Ellen Female  17   96
2   7  Hebe Female  22   98

这里可以总结一下,由于通过groupby()函数分组得到的是一个DataFrameGroupBy对象,而通过对这个对象调用get_group(),返回的则是一个·DataFrame·对象,所以可以将DataFrameGroupBy对象理解为是多个DataFrame组成的。

而没有调用get_group()函数之前,此时的数据结构任然是DataFrameGroupBy,此时进行对DataFrameGroupBy按照列名进行索引,同理就可以得到SeriesGroupBy对象,取多个列名,则得到的任然是DataFrameGroupBy对象,这里可以类比DataFrameSeries的关系。

按照上面的思路理解后,再调用get_group()函数后得到的DataFrame对象按照列名进行索引实际上就是得到了Series的对象,下面的操作就可以按照Series对象中的函数行了。

在没有进行调用get_group(),也就是没有取出特定某一组数据之前,此时的数据结构任然是DataFrameGroupBy,其中也有很多函数和方法可以调用,如max()count()std()等,返回的结果是一个DataFrame对象。

print(grouped.count())
print(grouped.max()[['Age', 'Score']])
print(grouped.mean()[['Age', 'Score']])

    Name Age Score
Gender         
Female   3  3   3
Male    5  5   5
    Age Score
Gender      
Female  22   98
Male   21  100
     Age   Score
Gender         
Female 19.0 95.666667
Male  19.6 89.000000

如果其中的函数无法满足你的需求,你也可以选择使用聚合函数aggregate,传递numpy或者自定义的函数,前提是返回一个聚合值。

def getSum(data):
  total = 0
  for d in data:
    total+=d
  return total


print(grouped.aggregate(np.median))
print(grouped.aggregate({'Age':np.median, 'Score':np.sum}))
print(grouped.aggregate({'Age':getSum}))

aggregate函数不同于apply,前者是对所有的数值进行一个聚合的操作,而后者则是对每个数值进行单独的一个操作:

def addOne(data):
  return data + 1

df['Age'] = df['Age'].apply(addOne)
df['Age'] = df['Age'].apply(int)

可视化操作

对组内的数据绘制概率密度分布:

grouped['Age'].plot(kind='kde', legend=True)
plt.show()

pandas之分组groupby()的使用整理与总结

由于grouped['Age']是一个SeriesGroupby对象, 顾名思义, 就是每一个组都有一个Series. 所以直接plot相当于遍历了每一个组内的Age数据。

REF

groupby官方文档
超好用的 pandas 之 groupby

到此这篇关于pandas之分组groupby()的使用整理与总结的文章就介绍到这了,更多相关pandas groupby()分组内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
详解详解Python中writelines()方法的使用
May 25 Python
名片管理系统python版
Jan 11 Python
python调用c++传递数组的实例
Feb 13 Python
局域网内python socket实现windows与linux间的消息传送
Apr 19 Python
python之信息加密题目详解
Jun 26 Python
python 数据提取及拆分的实现代码
Aug 26 Python
windows 10 设定计划任务自动执行 python 脚本的方法
Sep 11 Python
Python切片列表字符串如何实现切换
Aug 06 Python
python exit出错原因整理
Aug 31 Python
python使用matplotlib绘制折线图的示例代码
Sep 22 Python
Python使用paramiko连接远程服务器执行Shell命令的实现
Mar 04 Python
Python TypeError: ‘float‘ object is not subscriptable错误解决
Dec 24 Python
解决Keyerror ''acc'' KeyError: ''val_acc''问题
Jun 18 #Python
Python调用shell cmd方法代码示例解析
Jun 18 #Python
Python如何自动获取目标网站最新通知
Jun 18 #Python
浅谈keras使用中val_acc和acc值不同步的思考
Jun 18 #Python
python实现在线翻译
Jun 18 #Python
Python函数的迭代器与生成器的示例代码
Jun 18 #Python
使用python实现名片管理系统
Jun 18 #Python
You might like
php批量删除操作(数据访问)
2017/05/23 PHP
Laravel中Facade的加载过程与原理详解
2017/09/22 PHP
Javascript高级技巧分享
2014/02/25 Javascript
jQuery插件multiScroll实现全屏鼠标滚动切换页面特效
2015/04/12 Javascript
浅谈下拉菜单中的Option对象
2015/05/10 Javascript
解决angular的post请求后SpringMVC后台接收不到参数值问题的方法
2015/12/10 Javascript
bootstrap中的 form表单属性role=&quot;form&quot;的作用详解
2017/01/20 Javascript
JavaScript函数表达式详解及实例
2017/05/05 Javascript
mac上配置Android环境变量的方法
2018/07/08 Javascript
JS实现数组去重及数组内对象去重功能示例
2019/02/02 Javascript
微信小程序自定义导航栏实例代码
2019/04/05 Javascript
javascript面向对象三大特征之封装实例详解
2019/07/24 Javascript
前后端常见的几种鉴权方式(小结)
2019/08/04 Javascript
vue实现多级菜单效果
2019/10/19 Javascript
jquery使用echarts实现有向图可视化功能示例
2019/11/25 jQuery
Vue props中Object和Array设置默认值操作
2020/07/30 Javascript
解决vue prop传值default属性如何使用,为何不生效的问题
2020/09/21 Javascript
[10:39]DOTA2上海特级锦标赛音乐会纪录片
2016/03/21 DOTA
Python实现Smtplib发送带有各种附件的邮件实例
2017/06/05 Python
浅析Python中的赋值和深浅拷贝
2017/08/15 Python
Python语言描述随机梯度下降法
2018/01/04 Python
Python 统计字数的思路详解
2018/05/08 Python
python sys.argv[]用法实例详解
2018/05/25 Python
Numpy之文件存取的示例代码
2018/08/03 Python
对Python2与Python3中__bool__方法的差异详解
2018/11/01 Python
python实现简单的单变量线性回归方法
2018/11/08 Python
Python用字典构建多级菜单功能
2019/07/11 Python
Python3.7安装keras和TensorFlow的教程图解
2020/06/18 Python
python cookie反爬处理的实现
2020/11/01 Python
html5-canvas中使用clip抠出一个区域的示例代码
2018/05/25 HTML / CSS
HTML5语音识别标签写法附图
2013/11/18 HTML / CSS
美国女士时尚珠宝及配饰购物网站:Icing
2018/07/02 全球购物
在C#中如何实现多态
2014/07/02 面试题
晚宴邀请函范文
2014/01/15 职场文书
法人身份证明书
2015/06/18 职场文书
初中美术教学反思
2016/02/17 职场文书