pandas DataFrame 删除重复的行的实现方法


Posted in Python onJanuary 29, 2019

1. 建立一个DataFrame

C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})

pandas DataFrame 删除重复的行的实现方法

2. 判断是否有重复项

用duplicated( )函数判断  

C.duplicated()

pandas DataFrame 删除重复的行的实现方法

3.  有重复项,则可以用drop_duplicates()移除重复项

C.drop_duplicates()

pandas DataFrame 删除重复的行的实现方法

4. Duplicated( )和drop_duplicates( )方法是以默认的方式判断全部的列(上面的例子中是看两个变量a和b是否都是重复出现)。

我们也可以对特定的列进行重复项判断。

C.duplicated(['a'])   C.drop_duplicates(['a'])

 C.duplicated(['b'])   C.drop_duplicates(['b'])

pandas DataFrame 删除重复的行的实现方法

5.  norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')

#上面的命令去掉UNIT_ID和KPI_ID列中重复的行,并保留重复出现的行中第一次出现的行

补充: 

  • 当keep=False时,就是去掉所有的重复行 
  • 当keep=‘first'时,就是保留第一次出现的重复行 
  • 当keep='last'时就是保留最后一次出现的重复行。 

(注意,这里的参数是字符串,要加引号!!!)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的dict字典结构操作方法学习笔记
May 07 Python
Python人脸识别初探
Dec 21 Python
Windows下python3.7安装教程
Jul 31 Python
python判断列表的连续数字范围并分块的方法
Nov 16 Python
Python数据报表之Excel操作模块用法分析
Mar 11 Python
使用Python轻松完成垃圾分类(基于图像识别)
Jul 09 Python
Django中celery执行任务结果的保存方法
Jul 12 Python
通过python扫描二维码/条形码并打印数据
Nov 14 Python
PyTorch实现AlexNet示例
Jan 14 Python
Python中url标签使用知识点总结
Jan 16 Python
Python定时任务APScheduler原理及实例解析
May 30 Python
Python pip 常用命令汇总
Oct 19 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
对python numpy.array插入一行或一列的方法详解
Jan 29 #Python
对python中list的拷贝与numpy的array的拷贝详解
Jan 29 #Python
10 分钟快速入门 Python3的教程
Jan 29 #Python
解决python2 绘图title,xlabel,ylabel出现中文乱码的问题
Jan 29 #Python
You might like
PHP通过iconv将字符串从GBK转换为UTF8字符集
2011/07/18 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(三)
2014/06/23 PHP
php随机抽奖实例分析
2015/03/04 PHP
php中mysql操作buffer用法详解
2015/03/19 PHP
PHP基于ip2long实现IP转换整形
2020/12/11 PHP
javascript css styleFloat和cssFloat
2010/03/15 Javascript
如何在JavaScript中实现私有属性的写类方式(二)
2013/12/04 Javascript
js点击列表文字对应该行显示背景颜色的实现代码
2015/08/05 Javascript
jquery.qtip提示信息插件用法简单实例
2016/06/17 Javascript
实例详解jQuery的无new构建
2016/08/02 Javascript
js点击按钮实现水波纹效果代码(CSS3和Canves)
2016/09/15 Javascript
Html5+jQuery+CSS制作相册小记录
2016/12/30 Javascript
AngularJS页面传参的5种方式
2017/04/01 Javascript
从零开始学习Node.js系列教程三:图片上传和显示方法示例
2017/04/13 Javascript
vue.js 上传图片实例代码
2017/06/22 Javascript
基于vue中keep-alive缓存问题的解决方法
2018/09/21 Javascript
nodejs实现获取本地文件夹下图片信息功能示例
2019/06/22 NodeJs
Vue中使用better-scroll实现轮播图组件
2020/03/07 Javascript
vue组件系列之TagsInput详解
2020/05/14 Javascript
[15:41]教你分分钟做大人——灰烬之灵
2015/03/11 DOTA
[01:09:19]DOTA2-DPC中国联赛 正赛 VG vs Aster BO3 第二场 2月28日
2021/03/11 DOTA
python:print格式化输出到文件的实例
2018/05/14 Python
python+numpy+matplotalib实现梯度下降法
2018/08/31 Python
对python PLT中的image和skimage处理图片方法详解
2019/01/10 Python
Scrapy框架爬取Boss直聘网Python职位信息的源码
2019/02/22 Python
python ftplib模块使用代码实例
2019/12/31 Python
python如何实现单链表的反转
2020/02/10 Python
日本著名的服饰鞋帽综合类购物网站:MAGASEEK
2019/01/09 全球购物
初中物理教学反思
2014/01/14 职场文书
法学求职信
2014/06/22 职场文书
讲党性心得体会
2014/09/03 职场文书
培训师岗位职责
2015/02/14 职场文书
创先争优个人总结
2015/03/04 职场文书
会计试用期自我评价
2015/03/10 职场文书
暑期家教宣传单
2015/07/14 职场文书
pytest进阶教程之fixture函数详解
2021/03/29 Python