pandas之分组groupby()的使用整理与总结


Posted in Python onJune 18, 2020

前言

在使用pandas的时候,有些场景需要对数据内部进行分组处理,如一组全校学生成绩的数据,我们想通过班级进行分组,或者再对班级分组后的性别进行分组来进行分析,这时通过pandas下的groupby()函数就可以解决。在使用pandas进行数据分析时,groupby()函数将会是一个数据分析辅助的利器。

groupby的作用可以参考 超好用的 pandas 之 groupby 中作者的插图进行直观的理解:

pandas之分组groupby()的使用整理与总结

准备

读入的数据是一段学生信息的数据,下面将以这个数据为例进行整理grouby()函数的使用:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('./data.csv')
print(df)
Name Gender Age Score
0   Alen  Male  18   80
1   Bob  Male  19   90
2   Cidy Female  18   93
3  Daniel  Male  20   87
4  Ellen Female  17   96
5 Frankie  Male  21  100
6   Gate  Male  20   88
7   Hebe Female  22   98

基本操作

在进行对groupby函数进行学习之前,首先需要明确的是,通过对DataFrame对象调用groupby()函数返回的结果是一个DataFrameGroupBy对象,而不是一个DataFrame或者Series对象,所以,它们中的一些方法或者函数是无法直接调用的,需要按照GroupBy对象中具有的函数和方法进行调用。

grouped = df.groupby('Gender')
print(type(grouped))
print(grouped)

<class 'pandas.core.groupby.groupby.DataFrameGroupBy'>

分组时,不仅仅可以指定一个列名,也可以指定多个列名:

grouped = df.groupby('Gender')
grouped_muti = df.groupby(['Gender', 'Age'])

print(grouped.size())
print(grouped_muti.size())

Gender
Female  3
Male   5
dtype: int64

Gender Age
Female 17   1
    18   1
    22   1
Male  18   1
    19   1
    20   2
    21   1
dtype: int64

指定多个列名个单个列名后的区别在于,分组的主键或者索引(indice)将一个是单个主键,另一个则是一个元组的形式:

print(grouped.get_group('Female'))
print(grouped_muti.get_group(('Female', 17)))

  Name Gender Age Score
2  Cidy Female  18   93
4 Ellen Female  17   96
7  Hebe Female  22   98
  Name Gender Age Score
4 Ellen Female  17   96

通过调用get_group()函数可以返回一个按照分组得到的DataFrame对象,所以接下来的使用就可以按照·DataFrame·对象来使用。如果想让这个DataFrame对象的索引重新定义可以通过:

df = grouped.get_group('Female').reset_index()
print(df)

  index  Name Gender Age Score
0   2  Cidy Female  18   93
1   4 Ellen Female  17   96
2   7  Hebe Female  22   98

这里可以总结一下,由于通过groupby()函数分组得到的是一个DataFrameGroupBy对象,而通过对这个对象调用get_group(),返回的则是一个·DataFrame·对象,所以可以将DataFrameGroupBy对象理解为是多个DataFrame组成的。

而没有调用get_group()函数之前,此时的数据结构任然是DataFrameGroupBy,此时进行对DataFrameGroupBy按照列名进行索引,同理就可以得到SeriesGroupBy对象,取多个列名,则得到的任然是DataFrameGroupBy对象,这里可以类比DataFrameSeries的关系。

按照上面的思路理解后,再调用get_group()函数后得到的DataFrame对象按照列名进行索引实际上就是得到了Series的对象,下面的操作就可以按照Series对象中的函数行了。

在没有进行调用get_group(),也就是没有取出特定某一组数据之前,此时的数据结构任然是DataFrameGroupBy,其中也有很多函数和方法可以调用,如max()count()std()等,返回的结果是一个DataFrame对象。

print(grouped.count())
print(grouped.max()[['Age', 'Score']])
print(grouped.mean()[['Age', 'Score']])

    Name Age Score
Gender         
Female   3  3   3
Male    5  5   5
    Age Score
Gender      
Female  22   98
Male   21  100
     Age   Score
Gender         
Female 19.0 95.666667
Male  19.6 89.000000

如果其中的函数无法满足你的需求,你也可以选择使用聚合函数aggregate,传递numpy或者自定义的函数,前提是返回一个聚合值。

def getSum(data):
  total = 0
  for d in data:
    total+=d
  return total


print(grouped.aggregate(np.median))
print(grouped.aggregate({'Age':np.median, 'Score':np.sum}))
print(grouped.aggregate({'Age':getSum}))

aggregate函数不同于apply,前者是对所有的数值进行一个聚合的操作,而后者则是对每个数值进行单独的一个操作:

def addOne(data):
  return data + 1

df['Age'] = df['Age'].apply(addOne)
df['Age'] = df['Age'].apply(int)

可视化操作

对组内的数据绘制概率密度分布:

grouped['Age'].plot(kind='kde', legend=True)
plt.show()

pandas之分组groupby()的使用整理与总结

由于grouped['Age']是一个SeriesGroupby对象, 顾名思义, 就是每一个组都有一个Series. 所以直接plot相当于遍历了每一个组内的Age数据。

REF

groupby官方文档
超好用的 pandas 之 groupby

到此这篇关于pandas之分组groupby()的使用整理与总结的文章就介绍到这了,更多相关pandas groupby()分组内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python encode和decode的妙用
Sep 02 Python
python使用arp欺骗伪造网关的方法
Apr 24 Python
Python3实现抓取javascript动态生成的html网页功能示例
Aug 22 Python
Python竟能画这么漂亮的花,帅呆了(代码分享)
Nov 15 Python
python2.7到3.x迁移指南
Feb 01 Python
Python内置模块logging用法实例分析
Feb 12 Python
python调用百度REST API实现语音识别
Aug 30 Python
PyCharm代码回滚,恢复历史版本的解决方法
Oct 22 Python
关于python pycharm中输出的内容不全的解决办法
Jan 10 Python
Python filter()及reduce()函数使用方法解析
Sep 05 Python
使用Python操作MySQL的小技巧
Sep 10 Python
总结Python变量的相关知识
Jun 28 Python
解决Keyerror ''acc'' KeyError: ''val_acc''问题
Jun 18 #Python
Python调用shell cmd方法代码示例解析
Jun 18 #Python
Python如何自动获取目标网站最新通知
Jun 18 #Python
浅谈keras使用中val_acc和acc值不同步的思考
Jun 18 #Python
python实现在线翻译
Jun 18 #Python
Python函数的迭代器与生成器的示例代码
Jun 18 #Python
使用python实现名片管理系统
Jun 18 #Python
You might like
C# Assembly类访问程序集信息
2009/06/13 PHP
PHP内核探索:变量存储与类型使用说明
2014/01/30 PHP
PHP如何使用JWT做Api接口身份认证的实现
2020/02/03 PHP
图片自动缩小的js代码,用以防止图片撑破页面
2007/03/12 Javascript
Prototype 工具函数 学习
2009/07/23 Javascript
jquery+ashx无刷新GridView数据显示插件(实现分页、排序、过滤功能)
2010/04/25 Javascript
myEvent.js javascript跨浏览器事件框架
2011/10/24 Javascript
禁用JavaScript控制台调试的方法
2014/03/07 Javascript
JavaScript用Number方法实现string转int
2014/05/13 Javascript
angularjs指令中的compile与link函数详解
2014/12/06 Javascript
angularJS 中$scope方法使用指南
2015/02/09 Javascript
JS基于Ajax实现的网页Loading效果代码
2015/10/27 Javascript
理解JavaScript事件对象
2016/01/25 Javascript
Bootstrap布局方式详解
2016/05/27 Javascript
JavaScript实现多栏目切换效果
2016/12/12 Javascript
Vue关于数据绑定出错解决办法
2017/05/15 Javascript
用vue的双向绑定简单实现一个todo-list的示例代码
2017/08/03 Javascript
vue-scroller记录滚动位置的示例代码
2018/01/17 Javascript
Vue页面骨架屏注入方法
2018/05/13 Javascript
JS highcharts动态柱状图原理及实现
2020/10/16 Javascript
[01:56]无止竞 再出发——中国军团出征2017年DOTA2国际邀请赛
2017/07/05 DOTA
Python使用函数默认值实现函数静态变量的方法
2014/08/18 Python
python+pygame实现坦克大战
2019/09/10 Python
浅析Python __name__ 是什么
2020/07/07 Python
python 将Excel转Word的示例
2021/03/02 Python
Coccinelle官网:意大利的著名皮具品牌
2019/05/15 全球购物
自然健康的概念:Natural Healthy Concepts
2020/01/26 全球购物
如何通过 CSS 写出火焰效果
2021/03/24 HTML / CSS
班级道德讲堂实施方案
2014/02/24 职场文书
保险专业大学生职业规划书
2014/03/03 职场文书
公司联欢晚会主持词
2014/03/22 职场文书
服装设计专业自荐信
2014/06/17 职场文书
《中国梦我的梦》大学生演讲稿
2014/08/20 职场文书
委托公证书格式
2015/01/26 职场文书
勇敢的心观后感
2015/06/09 职场文书
redis数据结构之压缩列表
2022/03/21 Redis