pandas DataFrame 删除重复的行的实现方法


Posted in Python onJanuary 29, 2019

1. 建立一个DataFrame

C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})

pandas DataFrame 删除重复的行的实现方法

2. 判断是否有重复项

用duplicated( )函数判断  

C.duplicated()

pandas DataFrame 删除重复的行的实现方法

3.  有重复项,则可以用drop_duplicates()移除重复项

C.drop_duplicates()

pandas DataFrame 删除重复的行的实现方法

4. Duplicated( )和drop_duplicates( )方法是以默认的方式判断全部的列(上面的例子中是看两个变量a和b是否都是重复出现)。

我们也可以对特定的列进行重复项判断。

C.duplicated(['a'])   C.drop_duplicates(['a'])

 C.duplicated(['b'])   C.drop_duplicates(['b'])

pandas DataFrame 删除重复的行的实现方法

5.  norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')

#上面的命令去掉UNIT_ID和KPI_ID列中重复的行,并保留重复出现的行中第一次出现的行

补充: 

  • 当keep=False时,就是去掉所有的重复行 
  • 当keep=‘first'时,就是保留第一次出现的重复行 
  • 当keep='last'时就是保留最后一次出现的重复行。 

(注意,这里的参数是字符串,要加引号!!!)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python的setuptools框架下生成egg的教程
Apr 13 Python
浅谈Python的异常处理
Jun 19 Python
Python中查看文件名和文件路径
Mar 31 Python
numpy.transpose对三维数组的转置方法
Apr 17 Python
Python从ZabbixAPI获取信息及实现Zabbix-API 监控的方法
Sep 17 Python
Python 获取div标签中的文字实例
Dec 20 Python
python批量获取html内body内容的实例
Jan 02 Python
python实现爬取百度图片的方法示例
Jul 06 Python
python 初始化一个定长的数组实例
Dec 02 Python
使用Python制作新型冠状病毒实时疫情图
Jan 28 Python
python3 实现口罩抽签的功能
Mar 11 Python
Python3读写ini配置文件的示例
Nov 06 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
对python numpy.array插入一行或一列的方法详解
Jan 29 #Python
对python中list的拷贝与numpy的array的拷贝详解
Jan 29 #Python
10 分钟快速入门 Python3的教程
Jan 29 #Python
解决python2 绘图title,xlabel,ylabel出现中文乱码的问题
Jan 29 #Python
You might like
咖啡的种类和口感
2021/03/03 新手入门
phpcms模块开发之swfupload的使用介绍
2013/04/28 PHP
php读取文件内容的方法汇总
2015/01/24 PHP
根据key删除数组中指定的元素实现方法
2017/03/02 PHP
Laravel框架实现定时发布任务的方法
2018/08/16 PHP
TP5框架使用QueryList采集框架爬小说操作示例
2020/03/26 PHP
PHP设计模式概论【概念、分类、原则等】
2020/05/01 PHP
javascript Split方法,indexOf方法、lastIndexOf 方法和substring 方法
2009/03/21 Javascript
jquery+json实现的搜索加分页效果
2010/03/31 Javascript
jqTransform form表单美化插件使用方法
2012/07/05 Javascript
javaScript array(数组)使用字符串作为数组下标的方法
2013/11/19 Javascript
自定义jquery模态窗口插件无法在顶层窗口显示问题
2014/05/29 Javascript
javascript中解析四则运算表达式的算法和示例
2014/08/11 Javascript
JS实现点击文字对应DIV层不停闪动效果的方法
2015/03/02 Javascript
JS判断页面是否出现滚动条的方法
2015/07/17 Javascript
jquery中表单 多选框的一种巧妙写法
2015/09/06 Javascript
简单理解vue中track-by属性
2016/10/26 Javascript
Javascript计算二维数组重复值示例代码
2016/12/18 Javascript
JavaScript的for循环中嵌套一个点击事件的问题解决
2017/03/03 Javascript
基于JavaScript实现新增内容滚动播放效果附完整代码
2017/08/24 Javascript
JS库之Waypoints的用法详解
2017/09/13 Javascript
JavaScript实现元素滚动条到达一定位置循环追加内容
2017/12/28 Javascript
在Vue里如何把网页的数据导出到Excel的方法
2020/09/30 Javascript
Python常用模块用法分析
2014/09/08 Python
python3.0 模拟用户登录,三次错误锁定的实例
2017/11/02 Python
Python3实现发送QQ邮件功能(附件)
2020/12/23 Python
python框架django项目部署相关知识详解
2019/11/04 Python
关于keras.layers.Conv1D的kernel_size参数使用介绍
2020/05/22 Python
浅析Python __name__ 是什么
2020/07/07 Python
钉钉企业内部H5微应用开发详解
2020/05/12 HTML / CSS
市场推广策划方案
2014/06/02 职场文书
运动会铅球比赛加油稿
2014/09/26 职场文书
考试作弊检讨书1000字(5篇)
2014/10/19 职场文书
2016新春团拜会致辞
2015/08/01 职场文书
详解CSS伪元素的妙用单标签之美
2021/05/25 HTML / CSS
pandas中关于apply+lambda的应用
2022/02/28 Python