pandas数据分组groupby()和统计函数agg()的使用


Posted in Python onMarch 04, 2021

数据分组

  • 使用 groupby() 方法进行分组
  • group.size()查看分组后每组的数量
  • group.groups 查看分组情况
  • group.get_group('名字') 根据分组后的名字选择分组数据

准备数据

# 一个Series其实就是一条数据,Series方法的第一个参数是data,第二个参数是index(索引),如果没有传值会使用默认值(0-N)
# index参数是我们自定义的索引值,注意:参数值的个数一定要相同。
# 在创建Series时数据并不一定要是列表,也可以将一个字典传进去。
from pandas import Series, DataFrame

# 使用字典创建
index_list = ['001', '002', '003', '004', '005', '006', '007', '008', '009', '010']
name_list = ['李白', '王昭君', '诸葛亮', '狄仁杰', '孙尚香', '妲己', '周瑜', '张飞', '王昭君', '大乔']
age_list = [25, 28, 27, 25, 30, 29, 25, 32, 28, 26]
gender_list = ['F', 'M', 'F', 'F', 'M', 'M', 'F', 'F', 'M', 'M']
salary_list = ['10k', '12.5k', '20k', '14k', '12k', '17k', '18k', '21k', '22k', '21.5k']
marital_list = ['NO', 'NO', 'YES', 'YES', 'NO', 'NO', 'NO', 'YES', 'NO', 'YES']
dic = {
 '姓名': Series(data=name_list, index=index_list),
 '年龄': Series(data=age_list, index=index_list),
 '薪资': Series(data=salary_list, index=index_list),
 '性别': Series(data=gender_list, index=index_list),
 '婚姻状况': Series(data=marital_list, index=index_list)
}
df = DataFrame(dic)

# 写入csv,path_or_buf为写入文本文件
df.to_csv(path_or_buf='./People.csv', encoding='utf_8_sig')
print('end')

上面代码会在当前目录下生成一个 People.csv 文件

import pandas as pd
df = pd.read_csv('./People.csv')
df.head()

pandas数据分组groupby()和统计函数agg()的使用

# 根据 '性别列' 进行分组, 得到的是一个分组后的对象
groups = df.groupby('性别')
print(groups)
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002953DAEBC88>

size()

使用groupby的size方法可以查看分组后每组的数量, 并返回一个含有分组大小的Series

print(groups.size())
性别
F 5
M 5
dtype: int64

可以只对一列数据进行分组, 只保留想要的数据

例如: 通过性别, 只对年龄进行分组

group = df['年龄'].groupby(df['性别'])
# 查看分组
print(group.groups)
# 根据分组后的名字选择分组
print(group.get_group('F'))
{'F': Int64Index([0, 2, 3, 6, 7], dtype='int64'), 'M': Int64Index([1, 4, 5, 8, 9], dtype='int64')}
0 25
2 27
3 25
6 25
7 32
Name: 年龄, dtype: int64
  • 代码df['年龄'].groupby(df['性别'])的逻辑是:取出df中'年龄'列数据,并且对该列数据根据df[‘性别']列数据进行分组操作
  • 这个代码也可写成df.groupby(df['性别'])['年龄'], 他的逻辑是: 将df数据通过df[‘性别']进行分组,然后再取出分组后的'年龄'列数据。两种写法达到的效果是一样的
  • group.groups的结果是一个字典,字典的key是分组后每个组的名字,对应的值是分组后的数据,此方法方便我们产看分组的情况
  • group.get_group('F')这个方法可以根据具体分组的名字获取,每个组的数据

 对分组进行遍历

import pandas as pd
df = pd.read_csv('./People.csv')
groups = df.groupby('性别')
# print(groups)
for group_name,group_df in groups:
 print('分组的名称:', group_name, '分组的数据', group_df.shape)
 print('-'*10)

分组的名称: F 分组的数据 (5, 6)
----------
分组的名称: M 分组的数据 (5, 6)
----------

- 将分组后的对象groups进行遍历,可以获取到group_name每个组的名字,group_df每个组的数据

import pandas as pd
df = pd.read_csv('./People.csv')
groups = df.groupby('性别')
for group_name,group_df in groups:
 f_mean = group_df['年龄'].mean()
 f_max = group_df['年龄'].max()
 f_min = group_df['年龄'].min()
 print('{}组的最大年龄是{},最小年龄是{},平均年龄是{}'.format(group_name,f_max,f_min,f_mean))

F组的最大年龄是32,最小年龄是25,平均年龄是26.8
M组的最大年龄是30,最小年龄是26,平均年龄是28.2

按多列进行分组

当需要按照多列进行分组的时候, groupby 方法里面我们传入一个列表, 列表分别存储分组依据的列名

注意: 列表中列名的顺序, 确定了先按XXXX列分组, 然后在按照YYYY列分组, 不同的顺序产生的分组名字是不同的

df = pd.read_csv('./People.csv')
group=df.groupby(['性别', '婚姻状况'])
df1 = group.size()
print(df1)
性别 婚姻状况
F  NO   2
  YES   3
M  NO   4
  YES   1
dtype: int64

group.size()返回的结果中发现索引值是多层的, 所以对于多索引值的获取, 只需要从外往里一层一层的取就可以啦, 就像我们睡觉之前,需要先脱外衣再脱掉内衣是一样的

size = df1['F'][ 'NO']
print(size)
2

pandas 常用统计函数

  • count() 统计列表中非空手机开的个数
  • nunique() 统计非重复的数据个数
  • sum() 统计列表中所有数值的和
  • mean() 计算列表中数据的平均值
  • median() 统计列表中数据中位数
  • max() 求列表中数据的最大值
  • min() 求列表中数据的最小值

对分组后的数据进行统计 agg()

import pandas as pd
df = pd.read_csv('./People.csv')
groups = df.groupby('性别')
for group_name,group_df in groups:
  f_se = group_df['年龄'].agg(['max','min','mean'])
  print('{}组的最大年龄是{},最小年龄是{},平均年龄是{}'.format(group_name,f_se[0],f_se[1],f_se[2]))

F组的最大年龄是32.0,最小年龄是25.0,平均年龄是26.8
M组的最大年龄是30.0,最小年龄是26.0,平均年龄是28.2

  • 在使用 agg() 函数时, 我们可以将多个统计函数一起放在一个 agg() 函数中
  • 如果是统计函数是pandas 提供的, 只需要将函数名字以字符串的形式存储到列表中即可
  • 例如: 将 max() 改成 ‘max'

自定义统计函数

当使用自定义的统计函数时
先创建统计函数

# 自定义的统计函数
def my_peak_range(df):
  """
  返回最大值与最小之间的范围
  """
  return df.max() - df.min()

# 使用
for group_name,group_df in groups:
  f_se = group_df['年龄'].agg(['max','min','mean',my_peak_range])
  print(f_se[0],f_se[1],f_se[3])
32.0 25.0 7.0
30.0 26.0 4.0

注意: 自定义函数名字传入agg() 函数时, 不需要转换成字符串

补充: 在这个数据中, 性别是什么的人总年龄最高

import pandas as pd
df = pd.read_csv('./People.csv')
groups = df.groupby('性别')
gende=groups.sum().sort_values(by='年龄',ascending=False).index.to_list()[0]
"""
这行代码, 先按性别进行分组, 然后吧每组中的数据求和得到总的年龄, 在按照年龄排序
再取出index,最后使用to_list()转换为列表,取出第一个数据
"""

print(gende)

M

开始按照性别分组, 组量太少, 数据也比较少, 本来准备算薪资总数, 但是单位忘记换了, 就这样吧

到此这篇关于pandas数据分组groupby()和统计函数agg()的使用的文章就介绍到这了,更多相关pandas groupby()和agg()内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用urllib2获取网络资源实例讲解
Dec 02 Python
python下setuptools的安装详解及No module named setuptools的解决方法
Jul 06 Python
浅谈Python中的可变对象和不可变对象
Jul 07 Python
Python键盘输入转换为列表的实例
Jun 23 Python
Python文件监听工具pyinotify与watchdog实例
Oct 15 Python
Python 中 function(#) (X)格式 和 (#)在Python3.*中的注意事项
Nov 30 Python
基于Python打造账号共享浏览器功能
May 30 Python
python批量处理多DNS多域名的nslookup解析实现
Jun 28 Python
Python如何批量生成和调用变量
Nov 21 Python
浅析Python中的套接字编程
Jun 22 Python
Python OpenCV超详细讲解基本功能
Apr 02 Python
Python列表的索引与切片
Apr 07 Python
pyx文件 生成pyd 文件用于 cython调用的实现
Mar 04 #Python
Python .py生成.pyd文件并打包.exe 的注意事项说明
Mar 04 #Python
python 中 .py文件 转 .pyd文件的操作
Mar 04 #Python
Python实现图片指定位置加图片水印(附Pyinstaller打包exe)
Mar 04 #Python
python 指定源路径来解决import问题的操作
Mar 04 #Python
python源文件的字符编码知识点详解
Mar 04 #Python
python3判断IP地址的方法
Mar 04 #Python
You might like
php 获取本地IP代码
2013/06/23 PHP
php5.4以下版本json不支持不转义内容中文的解决方法
2015/01/13 PHP
php操作(删除,提取,增加)zip文件方法详解
2015/03/12 PHP
详解PHP序列化和反序列化原理
2018/01/15 PHP
PHP上传图片到数据库并显示的实例代码
2019/12/20 PHP
如何让您的中波更粗更长 - 中波框形天线制作
2021/03/10 无线电
javascript 判断数组是否已包含了某个元素的函数
2010/05/30 Javascript
Jquery ui css framework
2010/06/28 Javascript
js注意img图片的onerror事件的分析
2011/01/01 Javascript
javascript代码编写需要注意的7个小细节小结
2011/09/21 Javascript
用js代码改变单选框选中状态的简单实例
2013/12/18 Javascript
jQuery学习笔记——jqGrid的使用记录(实现分页、搜索功能)
2016/11/09 Javascript
浅析JavaScript中作用域和作用域链
2016/12/06 Javascript
node操作mysql数据库实例详解
2017/03/17 Javascript
Angular4学习笔记router的简单使用
2018/03/30 Javascript
微信小程序onLaunch异步,首页onLoad先执行?
2018/09/20 Javascript
JavaScript学习教程之cookie与webstorage
2019/06/23 Javascript
js布局实现单选按钮控件
2020/01/17 Javascript
ES5 模拟 ES6 的 Symbol 实现私有成员功能示例
2020/05/06 Javascript
[00:56]跨越时空加入战场 全新祈求者身心“失落奇艺侍祭”展示
2019/07/20 DOTA
[56:17]NB vs Infamous 2019国际邀请赛淘汰赛 败者组 BO3 第三场 8.22
2019/09/05 DOTA
本地文件上传到七牛云服务器示例(七牛云存储)
2014/01/11 Python
Python选课系统开发程序
2016/09/02 Python
python利用thrift服务读取hbase数据的方法
2018/12/27 Python
Python定义函数功能与用法实例详解
2019/04/08 Python
python使用celery实现异步任务执行的例子
2019/08/28 Python
OpenCV中VideoCapture类的使用详解
2020/02/14 Python
html5 canvas简单封装一个echarts实现不了的饼图
2018/06/12 HTML / CSS
Brasty波兰:香水、化妆品、手表网上商店
2019/04/15 全球购物
中级会计职业生涯规划范文
2014/01/16 职场文书
潘婷洗发水广告词
2014/03/14 职场文书
处世之道:关于真诚相待的名言推荐
2019/12/02 职场文书
MySQL时间盲注的五种延时方法实现
2021/05/18 MySQL
教你用Python爬取英雄联盟皮肤原画
2021/06/13 Python
AudioContext 实现音频可视化(web技术分享)
2022/02/24 Javascript
海弦WR-800F
2022/04/05 无线电