pandas去重复行并分类汇总的实现方法


Posted in Python onJanuary 29, 2019

今天主要记录一下pandas去重复行以及如何分类汇总。以下面的数据帧作为一个例子: 

import pandas as pd
data=pd.DataFrame({'产品':['A','A','A','A'],'数量':[50,50,30,30]})

pandas判断dataframe是否含有重复行数据用:df.duplicated()

pandas去重复行并分类汇总的实现方法

 第一次出现的数据为False.重复的数据行就被记录为True。

去掉重复行数据使用data.drop_duplicates().

pandas去重复行并分类汇总的实现方法

 可以看到索引乱了,我们使用data.reset_index(),里面的参数drop=True,表明要舍掉原来的索引,不然的话原来的索引会保留下来。

pandas去重复行并分类汇总的实现方法

 分类汇总主要使用groupby(表明汇总的条件列)以及agg(要汇总的字段/列以及汇总的方式:求和还是最大最小值或者计数)。完整代码如下图

# -*- coding: utf-8 -*-
"""
Created on Fri Jul 20 09:08:10 2018
@author: FanXiaoLei
"""
import pandas as pd
data=pd.DataFrame({'产品':['A','A','A','A'],'数量':[50,50,30,30]})
if data.duplicated:
  dataA=data.drop_duplicates().reset_index(drop=True)
print(dataA)
dataB=dataA.groupby(by='产品').agg({'数量':sum})
print('数据汇总结果:')
print(dataB)

结果展示如下图:

pandas去重复行并分类汇总的实现方法

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作MySQL数据库的方法分享
May 29 Python
Python的Django框架中forms表单类的使用方法详解
Jun 21 Python
基于Python的关键字监控及告警
Jul 06 Python
Python内置函数 next的具体使用方法
Nov 24 Python
Python学习笔记之open()函数打开文件路径报错问题
Apr 28 Python
python3实现163邮箱SMTP发送邮件
May 22 Python
详解Python用三种方式统计词频的方法
Jul 29 Python
Django接收post前端返回的json格式数据代码实现
Jul 31 Python
python中的RSA加密与解密实例解析
Nov 18 Python
通过python实现windows桌面截图代码实例
Jan 17 Python
python在地图上画比例的实例详解
Nov 13 Python
Django路由层如何获取正确的url
Jul 15 Python
spark dataframe 将一列展开,把该列所有值都变成新列的方法
Jan 29 #Python
Python使用ctypes调用C/C++的方法
Jan 29 #Python
dataframe 按条件替换某一列中的值方法
Jan 29 #Python
Numpy之random函数使用学习
Jan 29 #Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 #Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
You might like
php下使用以下代码连接并测试
2008/04/09 PHP
PHP实现使用优酷土豆视频地址获取swf播放器分享地址
2014/06/05 PHP
centos下file_put_contents()无法写入文件的原因及解决方法
2017/04/01 PHP
神奇的代码 通杀各种网站-可随意修改复制页面内容
2008/07/17 Javascript
JavaScript入门教程(9) Document文档对象
2009/01/31 Javascript
基于jquery编写的横向自适应幻灯片切换特效的实例代码
2013/08/06 Javascript
Javascript基础教程之while语句
2015/01/18 Javascript
JavaScript学习心得之概述
2015/01/20 Javascript
jQuery读取XML文件内容的方法
2015/03/09 Javascript
Javascript实现跑马灯效果的简单实例
2016/05/31 Javascript
ionic js 模型 $ionicModal 可以遮住用户主界面的内容框
2016/06/06 Javascript
jQuery特殊符号转义的实现
2016/11/30 Javascript
js常用的继承--组合式继承
2017/03/06 Javascript
AngularJS页面传参的5种方式
2017/04/01 Javascript
JS从非数组对象转数组的方法小结
2018/03/26 Javascript
javascrpt密码强度校验函数详解
2020/03/18 Javascript
vuex 多模块时 模块内部的mutation和action的调用方式
2020/07/24 Javascript
[02:29]DOTA2英雄基础教程 陈
2013/12/17 DOTA
windows环境下tensorflow安装过程详解
2018/03/30 Python
Python3单行定义多个变量或赋值方法
2018/07/12 Python
Python自动抢红包教程详解
2019/06/11 Python
Django关于admin的使用技巧和知识点
2020/02/10 Python
使用Python构造hive insert语句说明
2020/06/06 Python
Pyinstaller加密打包应用的示例代码
2020/06/11 Python
html5 音乐播放器 audio 标签使用概述
2013/07/15 HTML / CSS
Burberry英国官网:英国标志性奢侈品牌
2017/03/29 全球购物
美国羊皮公司:Overland
2018/01/15 全球购物
PREMIUM-MALL法国:行李、箱包及配件在线
2019/05/30 全球购物
用友笔试题目
2016/10/25 面试题
大学生的网络创业计划书
2013/12/26 职场文书
党校学习思想汇报
2014/01/06 职场文书
海飞丝的广告词
2014/03/20 职场文书
整顿机关作风心得体会
2014/09/10 职场文书
使用springboot暴露oracle数据接口的问题
2021/05/07 Oracle
详解java如何集成swagger组件
2021/06/21 Java/Android
微软官方消息,在 2023 年 4 月 11 日之后微软将不再为 Office 2013 和 Skype for Business 2015 提供安全更新
2022/04/21 数码科技