python pandas dataframe 去重函数的具体使用


Posted in Python onJuly 20, 2020

今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数

先看一个小例子

from pandas import Series, DataFrame
 
data = DataFrame({'k': [1, 1, 2, 2]})
 
print data
 
IsDuplicated = data.duplicated()
 
print IsDuplicated
print type(IsDuplicated)
 
data = data.drop_duplicates()
print data

执行结果是:

   k
0  1
1  1
2  2
3  2

0    False
1     True
2    False
3     True

   k
0  1
2  2

DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

而 drop_duplicates方法,它用于返回一个移除了重复行的DataFrame

这两个方法会判断全部列,你也可以指定部分列进行重复项判段。

drop_duplicates根据数据的不同情况及处理数据的不同需求,通常会分为两种情况,一种是去除完全重复的行数据,另一种是去除某几列重复的行数据,就这两种情况可用下面的代码进行处理。

1. 去除完全重复的行数据

data.drop_duplicates(inplace=True)

2. 去除某几列重复的行数据

data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
  • subset: 列名,可选,默认为None
    • keep: {‘first', ‘last', False}, 默认值 ‘first'
    • first: 保留第一次出现的重复行,删除后面的重复行。
    • last: 删除重复项,除了最后一次出现。
  • False: 删除所有重复项。
  • inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。(inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。)

例如,希望对名字为k2的列进行去重,

data.drop_duplicates(['k2'])

到此这篇关于python pandas dataframe 去重函数的具体使用的文章就介绍到这了,更多相关python pandas dataframe 去重函数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python ORM框架SQLAlchemy学习笔记之数据添加和事务回滚介绍
Jun 10 Python
使用Python对IP进行转换的一些操作技巧小结
Nov 09 Python
实例解析Python的Twisted框架中Deferred对象的用法
May 25 Python
使用C++扩展Python的功能详解
Jan 12 Python
python中matplotlib的颜色及线条控制的示例
Mar 16 Python
Python求解任意闭区间的所有素数
Jun 10 Python
python版本单链表实现代码
Sep 28 Python
Python3.5模块的定义、导入、优化操作图文详解
Apr 27 Python
python生成器推导式用法简单示例
Oct 08 Python
Python使用Paramiko控制liunx第三方库
May 20 Python
python 如何用terminal输入参数
May 25 Python
Python&Matlab实现樱花的绘制
Apr 07 Python
Pandas中DataFrame基本函数整理(小结)
Jul 20 #Python
Python实现删除某列中含有空值的行的示例代码
Jul 20 #Python
解决python运行效率不高的问题
Jul 20 #Python
Python生成器generator原理及用法解析
Jul 20 #Python
Win10环境中如何实现python2和python3并存
Jul 20 #Python
python和go语言的区别是什么
Jul 20 #Python
Python基础教程(一)——Windows搭建开发Python开发环境
Jul 20 #Python
You might like
php文档更新介绍
2011/07/22 PHP
php实现rc4加密算法代码
2012/04/25 PHP
PHP5.5安装PHPRedis扩展及连接测试方法
2017/01/22 PHP
PHP实现将多个文件中的内容合并为新文件的方法示例
2017/06/10 PHP
jquery的Tooltip插件 qtip使用详细说明
2010/09/08 Javascript
基于jquery的文章中所有图片width大小批量设置方法
2013/08/01 Javascript
关于onchange事件在IE和FF下的表现及解决方法
2014/03/08 Javascript
javascript实现图片延迟加载方法汇总(三种方法)
2015/08/27 Javascript
js简单判断flash是否加载完成的方法
2016/06/21 Javascript
简单谈谈ES6的六个小特性
2016/11/18 Javascript
nodejs中全局变量的实例解析
2017/03/07 NodeJs
JavaScript中 DOM操作方法小结
2017/04/25 Javascript
微信小程序tabBar底部导航中文注解api详解
2017/08/16 Javascript
详解微信图片防盗链“此图片来自微信公众平台 未经允许不得引用”的解决方案
2019/04/04 Javascript
[01:02:45]完美世界DOTA2联赛 LBZS vs Forest 第三场 11.07
2020/11/09 DOTA
[02:36]DOTA2-DPC中国联赛 正赛 PSG.LGD vs Magma 选手采访
2021/03/11 DOTA
Python常用的文件及文件路径、目录操作方法汇总介绍
2015/05/21 Python
Python编程之序列操作实例详解
2017/07/22 Python
对pandas读取中文unicode的csv和添加行标题的方法详解
2018/12/12 Python
Python filter过滤器原理及实例应用
2020/08/18 Python
解决使用Pandas 读取超过65536行的Excel文件问题
2020/11/10 Python
HTML5 Web Workers之网站也能多线程的实现
2013/04/24 HTML / CSS
日本网路线上商品代购服务:转送JAPAN
2016/08/05 全球购物
李宁官方网店:中国运动品牌
2017/11/02 全球购物
教师找工作推荐信
2013/11/23 职场文书
餐饮收银员岗位职责
2014/02/07 职场文书
大学活动总结格式
2014/04/29 职场文书
全国优秀辅导员事迹材料
2014/05/14 职场文书
幼儿园清明节活动总结
2014/07/04 职场文书
大学生见习期满自我鉴定
2014/09/13 职场文书
优秀班主任主要事迹材料
2014/12/16 职场文书
2015年电工工作总结
2015/04/10 职场文书
大学生社会实践活动总结报告
2015/05/06 职场文书
大学生读书笔记范文
2015/07/01 职场文书
感恩教育主题班会
2015/08/12 职场文书
幼儿园保教工作总结2015
2015/10/15 职场文书