pandas之分组groupby()的使用整理与总结


Posted in Python onJune 18, 2020

前言

在使用pandas的时候,有些场景需要对数据内部进行分组处理,如一组全校学生成绩的数据,我们想通过班级进行分组,或者再对班级分组后的性别进行分组来进行分析,这时通过pandas下的groupby()函数就可以解决。在使用pandas进行数据分析时,groupby()函数将会是一个数据分析辅助的利器。

groupby的作用可以参考 超好用的 pandas 之 groupby 中作者的插图进行直观的理解:

pandas之分组groupby()的使用整理与总结

准备

读入的数据是一段学生信息的数据,下面将以这个数据为例进行整理grouby()函数的使用:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('./data.csv')
print(df)
Name Gender Age Score
0   Alen  Male  18   80
1   Bob  Male  19   90
2   Cidy Female  18   93
3  Daniel  Male  20   87
4  Ellen Female  17   96
5 Frankie  Male  21  100
6   Gate  Male  20   88
7   Hebe Female  22   98

基本操作

在进行对groupby函数进行学习之前,首先需要明确的是,通过对DataFrame对象调用groupby()函数返回的结果是一个DataFrameGroupBy对象,而不是一个DataFrame或者Series对象,所以,它们中的一些方法或者函数是无法直接调用的,需要按照GroupBy对象中具有的函数和方法进行调用。

grouped = df.groupby('Gender')
print(type(grouped))
print(grouped)

<class 'pandas.core.groupby.groupby.DataFrameGroupBy'>

分组时,不仅仅可以指定一个列名,也可以指定多个列名:

grouped = df.groupby('Gender')
grouped_muti = df.groupby(['Gender', 'Age'])

print(grouped.size())
print(grouped_muti.size())

Gender
Female  3
Male   5
dtype: int64

Gender Age
Female 17   1
    18   1
    22   1
Male  18   1
    19   1
    20   2
    21   1
dtype: int64

指定多个列名个单个列名后的区别在于,分组的主键或者索引(indice)将一个是单个主键,另一个则是一个元组的形式:

print(grouped.get_group('Female'))
print(grouped_muti.get_group(('Female', 17)))

  Name Gender Age Score
2  Cidy Female  18   93
4 Ellen Female  17   96
7  Hebe Female  22   98
  Name Gender Age Score
4 Ellen Female  17   96

通过调用get_group()函数可以返回一个按照分组得到的DataFrame对象,所以接下来的使用就可以按照·DataFrame·对象来使用。如果想让这个DataFrame对象的索引重新定义可以通过:

df = grouped.get_group('Female').reset_index()
print(df)

  index  Name Gender Age Score
0   2  Cidy Female  18   93
1   4 Ellen Female  17   96
2   7  Hebe Female  22   98

这里可以总结一下,由于通过groupby()函数分组得到的是一个DataFrameGroupBy对象,而通过对这个对象调用get_group(),返回的则是一个·DataFrame·对象,所以可以将DataFrameGroupBy对象理解为是多个DataFrame组成的。

而没有调用get_group()函数之前,此时的数据结构任然是DataFrameGroupBy,此时进行对DataFrameGroupBy按照列名进行索引,同理就可以得到SeriesGroupBy对象,取多个列名,则得到的任然是DataFrameGroupBy对象,这里可以类比DataFrameSeries的关系。

按照上面的思路理解后,再调用get_group()函数后得到的DataFrame对象按照列名进行索引实际上就是得到了Series的对象,下面的操作就可以按照Series对象中的函数行了。

在没有进行调用get_group(),也就是没有取出特定某一组数据之前,此时的数据结构任然是DataFrameGroupBy,其中也有很多函数和方法可以调用,如max()count()std()等,返回的结果是一个DataFrame对象。

print(grouped.count())
print(grouped.max()[['Age', 'Score']])
print(grouped.mean()[['Age', 'Score']])

    Name Age Score
Gender         
Female   3  3   3
Male    5  5   5
    Age Score
Gender      
Female  22   98
Male   21  100
     Age   Score
Gender         
Female 19.0 95.666667
Male  19.6 89.000000

如果其中的函数无法满足你的需求,你也可以选择使用聚合函数aggregate,传递numpy或者自定义的函数,前提是返回一个聚合值。

def getSum(data):
  total = 0
  for d in data:
    total+=d
  return total


print(grouped.aggregate(np.median))
print(grouped.aggregate({'Age':np.median, 'Score':np.sum}))
print(grouped.aggregate({'Age':getSum}))

aggregate函数不同于apply,前者是对所有的数值进行一个聚合的操作,而后者则是对每个数值进行单独的一个操作:

def addOne(data):
  return data + 1

df['Age'] = df['Age'].apply(addOne)
df['Age'] = df['Age'].apply(int)

可视化操作

对组内的数据绘制概率密度分布:

grouped['Age'].plot(kind='kde', legend=True)
plt.show()

pandas之分组groupby()的使用整理与总结

由于grouped['Age']是一个SeriesGroupby对象, 顾名思义, 就是每一个组都有一个Series. 所以直接plot相当于遍历了每一个组内的Age数据。

REF

groupby官方文档
超好用的 pandas 之 groupby

到此这篇关于pandas之分组groupby()的使用整理与总结的文章就介绍到这了,更多相关pandas groupby()分组内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python3实现连接SQLite数据库的方法
Aug 23 Python
查看Python安装路径以及安装包路径小技巧
Apr 28 Python
实例解析Python中的__new__特殊方法
Jun 02 Python
python实现求最长回文子串长度
Jan 22 Python
python对list中的每个元素进行某种操作的方法
Jun 29 Python
python3.7环境下安装Anaconda的教程图解
Sep 10 Python
python与mysql数据库交互的实现
Jan 06 Python
Python字符串三种格式化输出
Sep 17 Python
详解Scrapy Redis入门实战
Nov 18 Python
快速解决pymongo操作mongodb的时区问题
Dec 05 Python
分析Python感知线程状态的解决方案之Event与信号量
Jun 16 Python
python百行代码实现汉服圈图片爬取
Nov 23 Python
解决Keyerror ''acc'' KeyError: ''val_acc''问题
Jun 18 #Python
Python调用shell cmd方法代码示例解析
Jun 18 #Python
Python如何自动获取目标网站最新通知
Jun 18 #Python
浅谈keras使用中val_acc和acc值不同步的思考
Jun 18 #Python
python实现在线翻译
Jun 18 #Python
Python函数的迭代器与生成器的示例代码
Jun 18 #Python
使用python实现名片管理系统
Jun 18 #Python
You might like
PHP中使用curl伪造IP的简单方法
2015/08/07 PHP
thinkphp5.0整合phpsocketio完整攻略(绕坑)
2018/10/12 PHP
获取DOM对象的几种扩展及简写
2006/10/09 Javascript
javascript 面向对象继承
2009/11/26 Javascript
javascript中处理时间戳为日期格式的方法
2014/01/02 Javascript
javascript实现数组去重的多种方法
2016/03/14 Javascript
js获取页面引用的css样式表中的属性值方法(推荐)
2016/08/19 Javascript
Select2.js下拉框使用小结
2016/10/24 Javascript
AngularJS实现动态编译添加到dom中的方法
2016/11/04 Javascript
jQuery实现拖拽可编辑模块功能代码
2017/01/12 Javascript
js实现自定义路由
2017/02/04 Javascript
深入理解在JS中通过四种设置事件处理程序的方法
2017/03/02 Javascript
vue跨域解决方法
2017/10/15 Javascript
vue填坑之webpack run build 静态资源找不到的解决方法
2018/09/03 Javascript
Javascript中弹窗confirm与prompt的区别
2018/10/26 Javascript
详解vue中v-bind:style效果的自定义指令
2020/01/21 Javascript
js中switch语句的学习笔记
2020/03/25 Javascript
解决vue一个页面中复用同一个echarts组件的问题
2020/07/19 Javascript
js实现查询商品案例
2020/07/22 Javascript
Python字符串的encode与decode研究心得乱码问题解决方法
2009/03/23 Python
跟老齐学Python之开始真正编程
2014/09/12 Python
Python3之简单搭建自带服务器的实例讲解
2018/06/04 Python
OPENCV去除小连通区域,去除孔洞的实例讲解
2018/06/21 Python
Python对接六大主流数据库(只需三步)
2019/07/31 Python
python实现操作文件(文件夹)
2019/10/31 Python
python super用法及原理详解
2020/01/20 Python
Python yield的用法实例分析
2020/03/06 Python
解决python cv2.imread 读取中文路径的图片返回为None的问题
2020/06/02 Python
QT5 Designer 打不开的问题及解决方法
2020/08/20 Python
Python3+Django get/post请求实现教程详解
2021/02/16 Python
大学军训自我鉴定
2013/12/15 职场文书
幼儿园元旦家长感言
2014/02/27 职场文书
房屋出租协议书
2014/04/10 职场文书
公安四风对照检查材料思想汇报
2014/10/11 职场文书
残联2016年全国助残日活动总结
2016/04/01 职场文书
Java面试题冲刺第十六天--消息队列
2021/08/07 面试题