pandas DataFrame 删除重复的行的实现方法


Posted in Python onJanuary 29, 2019

1. 建立一个DataFrame

C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})

pandas DataFrame 删除重复的行的实现方法

2. 判断是否有重复项

用duplicated( )函数判断  

C.duplicated()

pandas DataFrame 删除重复的行的实现方法

3.  有重复项,则可以用drop_duplicates()移除重复项

C.drop_duplicates()

pandas DataFrame 删除重复的行的实现方法

4. Duplicated( )和drop_duplicates( )方法是以默认的方式判断全部的列(上面的例子中是看两个变量a和b是否都是重复出现)。

我们也可以对特定的列进行重复项判断。

C.duplicated(['a'])   C.drop_duplicates(['a'])

 C.duplicated(['b'])   C.drop_duplicates(['b'])

pandas DataFrame 删除重复的行的实现方法

5.  norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')

#上面的命令去掉UNIT_ID和KPI_ID列中重复的行,并保留重复出现的行中第一次出现的行

补充: 

  • 当keep=False时,就是去掉所有的重复行 
  • 当keep=‘first'时,就是保留第一次出现的重复行 
  • 当keep='last'时就是保留最后一次出现的重复行。 

(注意,这里的参数是字符串,要加引号!!!)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
讲解Python中运算符使用时的优先级
May 14 Python
详解Python 2.6 升级至 Python 2.7 的实践心得
Apr 27 Python
python 判断是否为正小数和正整数的实例
Jul 23 Python
基于python select.select模块通信的实例讲解
Sep 21 Python
Python实现的插入排序算法原理与用法实例分析
Nov 22 Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 Python
python numpy元素的区间查找方法
Nov 14 Python
Python中利用aiohttp制作异步爬虫及简单应用
Nov 29 Python
python实现年会抽奖程序
Jan 22 Python
Python定时器线程池原理详解
Feb 26 Python
Django中F函数的使用示例代码详解
Jul 06 Python
浅谈python锁与死锁问题
Aug 14 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
对python numpy.array插入一行或一列的方法详解
Jan 29 #Python
对python中list的拷贝与numpy的array的拷贝详解
Jan 29 #Python
10 分钟快速入门 Python3的教程
Jan 29 #Python
解决python2 绘图title,xlabel,ylabel出现中文乱码的问题
Jan 29 #Python
You might like
php笔记之:php数组相关函数的使用
2013/04/26 PHP
thinkphp中的url跳转用法分析
2016/07/12 PHP
Laravel框架实现的使用smtp发送邮件功能示例
2019/03/12 PHP
PHP开发的文字水印,缩略图,图片水印实现类与用法示例
2019/04/12 PHP
脚本收藏iframe
2006/07/21 Javascript
JQuery 学习笔记 选择器之六
2009/07/23 Javascript
xheditor与validate插件冲突的解决方案
2010/04/15 Javascript
JavaScript中__proto__与prototype的关系深入理解
2012/12/04 Javascript
JS验证邮箱格式是否正确的代码
2013/12/05 Javascript
zeroclipboard 单个复制按钮和多个复制按钮的实现方法
2014/06/14 Javascript
js通过iframe加载外部网页的实现代码
2015/04/05 Javascript
javascript HTML+CSS实现经典橙色导航菜单
2016/02/16 Javascript
JavaScript Promise 用法
2016/06/14 Javascript
JavaScript cookie详解及简单实例应用
2016/12/31 Javascript
详解如何配置vue-cli3.0的vue.config.js
2018/08/23 Javascript
Vue中Quill富文本编辑器的使用教程
2018/09/21 Javascript
微信小程序实现类似微信点击语音播放效果
2020/03/30 Javascript
微信小程序事件流原理解析
2019/11/27 Javascript
基于jQuery实现挂号平台首页源码
2020/01/06 jQuery
[12:29]《一刀刀一天》之DOTA全时刻19:蝙蝠骑士田伯光再度不举
2014/06/10 DOTA
[00:35]可解锁地面特效
2018/12/20 DOTA
[45:25]OG vs EG 2019国际邀请赛淘汰赛 胜者组 BO3 第一场 8.22
2019/09/05 DOTA
python妙用之编码的转换详解
2017/04/21 Python
python实现xlsx文件分析详解
2018/01/02 Python
浅谈Python的条件判断语句if/else语句
2019/03/21 Python
使用python来调用CAN通讯的DLL实现方法
2019/07/03 Python
python的几种矩阵相乘的公式详解
2019/07/10 Python
pytorch中tensor.expand()和tensor.expand_as()函数详解
2019/12/27 Python
python基于opencv检测程序运行效率
2019/12/28 Python
Python通过文本和图片生成词云图
2020/05/21 Python
澳大利亚购买健身器材网站:Gym Direct
2019/12/19 全球购物
中学生打架检讨书
2014/02/10 职场文书
幼儿教师工作感言
2014/02/14 职场文书
师德师风建设方案
2014/05/08 职场文书
法人委托书范本
2014/09/15 职场文书
2014年乡镇纪委工作总结
2014/12/19 职场文书