pandas DataFrame 删除重复的行的实现方法


Posted in Python onJanuary 29, 2019

1. 建立一个DataFrame

C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})

pandas DataFrame 删除重复的行的实现方法

2. 判断是否有重复项

用duplicated( )函数判断  

C.duplicated()

pandas DataFrame 删除重复的行的实现方法

3.  有重复项,则可以用drop_duplicates()移除重复项

C.drop_duplicates()

pandas DataFrame 删除重复的行的实现方法

4. Duplicated( )和drop_duplicates( )方法是以默认的方式判断全部的列(上面的例子中是看两个变量a和b是否都是重复出现)。

我们也可以对特定的列进行重复项判断。

C.duplicated(['a'])   C.drop_duplicates(['a'])

 C.duplicated(['b'])   C.drop_duplicates(['b'])

pandas DataFrame 删除重复的行的实现方法

5.  norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')

#上面的命令去掉UNIT_ID和KPI_ID列中重复的行,并保留重复出现的行中第一次出现的行

补充: 

  • 当keep=False时,就是去掉所有的重复行 
  • 当keep=‘first'时,就是保留第一次出现的重复行 
  • 当keep='last'时就是保留最后一次出现的重复行。 

(注意,这里的参数是字符串,要加引号!!!)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中处理字符串之ljust()方法的使用简介
May 19 Python
Python使用matplotlib实现在坐标系中画一个矩形的方法
May 20 Python
python3编码问题汇总
Sep 06 Python
Django卸载之后重新安装的方法
Mar 15 Python
Python语言描述KNN算法与Kd树
Dec 13 Python
dataframe设置两个条件取值的实例
Apr 12 Python
Python中三元表达式的几种写法介绍
Mar 04 Python
pytorch多进程加速及代码优化方法
Aug 19 Python
详解python 中in 的 用法
Dec 12 Python
解决Python图形界面中设置尺寸的问题
Mar 05 Python
tensorflow使用L2 regularization正则化修正overfitting过拟合方式
May 22 Python
keras 多gpu并行运行案例
Jun 10 Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
对python numpy.array插入一行或一列的方法详解
Jan 29 #Python
对python中list的拷贝与numpy的array的拷贝详解
Jan 29 #Python
10 分钟快速入门 Python3的教程
Jan 29 #Python
解决python2 绘图title,xlabel,ylabel出现中文乱码的问题
Jan 29 #Python
You might like
批量获取memcache值并按key的顺序返回的实现代码
2011/06/14 PHP
php中__destruct与register_shutdown_function执行的先后顺序问题
2014/10/17 PHP
PHP记录页面停留时间的方法
2016/03/30 PHP
PHP数据库处理封装类实例
2016/12/24 PHP
Laravel ORM 数据model操作教程
2019/10/21 PHP
jquery ready函数、css函数及text()使用示例
2013/09/27 Javascript
jQuery操作Select的Option上下移动及移除添加等等
2013/11/18 Javascript
jquery单行文字向上滚动效果示例
2014/03/06 Javascript
jquery attr方法获取input的checked属性问题
2014/05/26 Javascript
js+html5实现的自由落体运动效果代码
2016/01/28 Javascript
史上最全JavaScript数组去重的十种方法(推荐)
2017/08/17 Javascript
重学JS 系列:聊聊继承(推荐)
2019/04/11 Javascript
js图片无缝滚动插件使用详解
2020/05/26 Javascript
layui table 表格模板按钮的实例代码
2019/09/21 Javascript
JavaScript设计模式---单例模式详解【四种基本形式】
2020/05/16 Javascript
[02:22]《新闻直播间》2017年08月14日
2017/08/15 DOTA
[37:02]OG vs INfamous 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/17 DOTA
详解Python当中的字符串和编码
2015/04/25 Python
python中装饰器级连的使用方法示例
2017/09/29 Python
Python中最大最小赋值小技巧(分享)
2017/12/23 Python
Django教程笔记之中间件middleware详解
2018/08/01 Python
python+Django+pycharm+mysql 搭建首个web项目详解
2019/11/29 Python
Python中if有多个条件处理方法
2020/02/26 Python
spyder 在控制台(console)执行python文件,debug python程序方式
2020/04/20 Python
Python tempfile模块生成临时文件和临时目录
2020/09/30 Python
Python之qq自动发消息的示例代码
2021/02/18 Python
解决pip安装tensorflow中出现的no module named tensorflow.python 问题方法
2021/02/20 Python
修复iPhone的safari浏览器上submit按钮圆角bug
2012/12/24 HTML / CSS
STAUD官方网站:洛杉矶独有的闲适风格
2019/04/11 全球购物
企业行政文员岗位职责
2013/12/03 职场文书
政风行风建设责任书
2014/07/23 职场文书
2014年祖国生日寄语
2014/09/19 职场文书
党员个人剖析材料
2014/09/30 职场文书
2014房屋登记授权委托书
2014/10/13 职场文书
pandas:get_dummies()与pd.factorize()的用法及区别说明
2021/05/21 Python
React更新渲染原理深入分析
2022/12/24 Javascript