浅谈pandas用groupby后对层级索引levels的处理方法


Posted in Python onNovember 06, 2018

层及索引levels,刚开始学习pandas的时候没有太多的操作关于groupby,仅仅是简单的count、sum、size等等,没有更深入的利用groupby后的数据进行处理。近来数据处理的时候有遇到这类问题花了一点时间,所以这里记录以及复习一下:(以下皆是个人实践后的理解)

我使用一个实例来讲解下面的问题:一张数据表中有三列(动物物种、物种品种、品种价格),选出每个物种从大到小品种的前两种,最后只需要品种和价格这两列。

浅谈pandas用groupby后对层级索引levels的处理方法

以上这张表是我们后面需要处理的数据表 (物种 品种 价格)

levels:层及索引 (创建pandas类型时可以预先定义;使用groupby后也会生成)

我们看看levels什么样(根据df1物种分类,再根据df2品种排序后 如下图)

浅谈pandas用groupby后对层级索引levels的处理方法

图中可以看出,根据groupby分类后的cat、dog便是level,以及后面的一列原始位置索引也是level

好了现在简单了解levels,我们该如何对它进行处理,如何完成上面的实例呢?(可能你拿到这样的层级数据,不会操作,不知道如何提取其中的信息)

代码及讲解如下:

首先导入pandas、numpy库,以及创建原始数据:

import pandas as pd
import numpy as np
df = pd.DataFrame({'df1':['cat','cat','dog','cat','dog','dog'],'df2':[2,3,4,1,3,1],'df3':[100,200,100,300,200,200]})

原始数据最上面那张图

下面我们根据物种来分类,并且使用apply调用sort_df2函数对品种进行排序:

def sort_df2(data):
 data = data.sort_values(by='df2',ascending=False) #df2:品种列 ascending:排序方式
 return data
group = df.groupby(df['df1']).apply(sort_df2) #groupby以及apply的结合使用

处理后数据,上面第二张图

print(group.index) #看看groupby后的行索引什么样

浅谈pandas用groupby后对层级索引levels的处理方法

groupby后如上图,有层级标签(这里两列),labels标签(分类,位置)

这里我们需要的是第一层级标签的第一列(也就是cat、dog)

levels = group.index.levels[0] #取出第一级标签:

下面将是两层循环,完成从中选出(物种前两个品种以及它的价格),很简单的操作:

values = []
for i in levels:
 mid_group = group.loc[i] #选出i标签物种的所有品种
 mid_group = mid_group.iloc[:2,:] #我们只取排序后的品种的前两种(要注意这里使用iloc,它与loc的区别)
 cnt = len(mid_group) #为了防止循环长度错误,所以我们还是需要计算长度,因为如果真正数据不足2条还是不报错
 for j in range(cnt): #现在在每个物种cat、dog中操作
 value = mid_group.iloc[j,:] #我们选出该物种的第j条所有信息df1、df2、df3
 value_pro = (value['df2'],value['df3']) #然后只取df2、df3,将它们放到元组中
 values.append(value_pro)

所有的操作完成了,我们看看结果:

print(values) #此时在列表中保存了上面提取的元组信息,我们可以使用pandas再次转换它们为DataFrame,也可以做其它操作

浅谈pandas用groupby后对层级索引levels的处理方法

我觉得这个例子比较形象,但是还是有逻辑欠缺的地方,不过不重要,看懂了上面的例子,基本上就能了解和处理层级数据了。当然这里的数据简单,只是为了更好的理解,真正的处理数据时,可能会出现更为复杂的层级结构,这时需要能够更灵活的处理,如果你有更好的理解和建议,可以回复。

-------更新(增加对两层索引的操作)--------

在原来的基础上增加一列df4表示动物的大小特征

df = pd.DataFrame({'df1':['cat','cat','dog','cat','dog','dog'],'df2':[2,3,4,1,3,1],'df3':[100,200,100,300,200,200],'df4':['大','中','小','巨大','小','中']})

浅谈pandas用groupby后对层级索引levels的处理方法

此时根据df1、df4两列来分类,再对两层的层级索引操作:

df_group = df.groupby(['df1','df4']).size()

浅谈pandas用groupby后对层级索引levels的处理方法

分类后得到的是对应两个特征的动物数量,现在来取得其中的值:

print(df_group.index)
h = df_group.loc[['cat','df4']]
print(h)

先查看数据的index信息,从中我们可以看到两层索引对应的levels有两中,然后我们根据loc测试选出cat类的df4这一列(也可以填大、中、巨大选出一列)

浅谈pandas用groupby后对层级索引levels的处理方法

这样就得到了cat种类的信息,当然也可以选出dog种类,那么如何得出(cat,巨大,1)这样的一一对应的数据呢?

df1_name = df_group.index.levels[0]     #获得第一层的分类cat、dog
for i in range(len(df1_name)):  #循环遍历第一层
 df_level = df_group.loc[[df1_name[i],'df4']] #这里是选出第一层的所有信息
 df_level_ch = pd.DataFrame(df_level)   #由于上面得到是Series我们需要将它转换为DataFrame才能更好的操作
 for j in range(len(df_level_ch)):   #开始对第二层进行遍历
  a = df_level_ch.ix[j].name    #由于是DataFrame所以可以取每一行的name值('cat','大')
  b = df_level_ch.values[j][0]   #获取对应数量,由于是嵌套列表,所以我们逐层获取
  print(a,b)

浅谈pandas用groupby后对层级索引levels的处理方法

基本上是筛选出来了,还是很简单的。这只是其中的一个例子,如果遇到需要其他的操作,可以根据这个例子来随机变换。

这个方法虽然可以筛选,但是个人觉得数据量过大,就不是很好,暂时没有更好的方法,如果那位朋友有其他操作,可以分享一下。

以上这篇浅谈pandas用groupby后对层级索引levels的处理方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中设置变量访问权限的方法
Apr 27 Python
举例讲解Python设计模式编程的代理模式与抽象工厂模式
Jan 16 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
May 24 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
Nov 18 Python
django开发post接口简单案例,获取参数值的方法
Dec 11 Python
pytorch 数据处理:定义自己的数据集合实例
Dec 31 Python
利用python画出AUC曲线的实例
Feb 28 Python
Python实现屏幕录制功能的代码
Mar 02 Python
python中有函数重载吗
May 28 Python
大数据分析用java还是Python
Jul 06 Python
详细总结Python常见的安全问题
May 21 Python
python调用ffmpeg命令行工具便捷操作视频示例实现过程
Nov 01 Python
Python Series从0开始索引的方法
Nov 06 #Python
在Python中pandas.DataFrame重置索引名称的实例
Nov 06 #Python
pandas重新生成索引的方法
Nov 06 #Python
对pandas数据判断是否为NaN值的方法详解
Nov 06 #Python
删除DataFrame中值全为NaN或者包含有NaN的列或行方法
Nov 06 #Python
解决pandas.DataFrame.fillna 填充Nan失败的问题
Nov 06 #Python
对Pandas DataFrame缺失值的查找与填充示例讲解
Nov 06 #Python
You might like
PHP实现单例模式最安全的做法
2014/06/13 PHP
PHP框架laravel的.env文件配置教程
2017/06/07 PHP
PHP容器类的两种实现方式示例
2019/07/24 PHP
thinkPHP和onethink微信支付插件分享
2019/08/11 PHP
Jquery AJAX 用于计算点击率(统计)
2010/06/30 Javascript
javascript中"/"运算符常见错误
2010/10/13 Javascript
jquery调用asp.net 页面后台的实现代码
2011/04/27 Javascript
jquery.tmpl JQuery模板插件
2011/10/10 Javascript
Jquery动态更改一张位图的src与Attr的使用
2013/07/31 Javascript
js数组操作学习总结
2013/11/04 Javascript
解析jQuery的三种bind/One/Live事件绑定使用方法
2013/12/30 Javascript
javascript实时显示北京时间的方法
2015/03/12 Javascript
jQuery解析json数据实例分析
2015/11/24 Javascript
非常漂亮的相册集 使用jquery制作相册集
2016/04/28 Javascript
基于JS实现翻书效果的页面切换样式
2017/02/16 Javascript
详解React开发中使用require.ensure()按需加载ES6组件
2017/05/12 Javascript
bootstrap paginator分页前后台用法示例
2017/06/17 Javascript
vue中的watch监听数据变化及watch中各属性的详解
2018/09/11 Javascript
简单了解Ajax表单序列化的实现方法
2019/06/14 Javascript
使用 Vue 实现一个虚拟列表的方法
2019/08/20 Javascript
vue 使用rules对表单字段进行校验的步骤
2020/12/25 Vue.js
[02:48]DOTA2英雄基础教程 暗夜魔王
2013/12/12 DOTA
[38:51]2014 DOTA2国际邀请赛中国区预选赛 Orenda VS LGD-CDEC
2014/05/22 DOTA
Python中Threading用法详解
2017/12/27 Python
Django REST framework视图的用法
2019/01/16 Python
python数值基础知识浅析
2019/11/19 Python
PyTorch的自适应池化Adaptive Pooling实例
2020/01/03 Python
pycharm实现在虚拟环境中引入别人的项目
2020/03/09 Python
Selenium+BeautifulSoup+json获取Script标签内的json数据
2020/12/07 Python
美国山地自行车、露营、户外装备和服装购物网站:Aventuron
2018/05/05 全球购物
Unix如何添加新的用户
2014/08/20 面试题
感谢信的格式
2015/01/21 职场文书
病人家属写给医院的感谢信
2015/01/23 职场文书
2015年档案室工作总结
2015/05/23 职场文书
导游词之台湾安平古堡
2019/12/25 职场文书
css3 选择器
2022/05/11 HTML / CSS