详解pandas使用drop_duplicates去除DataFrame重复项参数


Posted in Python onAugust 01, 2019

Pandas之drop_duplicates:去除重复项

方法

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

参数

这个drop_duplicate方法是对DataFrame格式的数据,去除特定列下面的重复行。返回DataFrame格式的数据。

  • subset : column label or sequence of labels, optional 用来指定特定的列,默认所有列
  • keep : {‘first', ‘last', False}, default ‘first' 删除重复项并保留第一次出现的项
  • inplace : boolean, default False 是直接在原来数据上修改还是保留一个副本

DataFrame中存在重复的行或者几行中某几列的值重复,这时候需要去掉重复行,示例如下:

data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

代码中subset对应的值是列名,表示只考虑这两列,将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。

keep='first'表示保留第一次出现的重复行,是默认值。keep另外两个取值为"last"和False,分别表示保留最后一次出现的重复行和去除所有重复行。

inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。

将副本赋值给dataframe:

data=data.drop_duplicates(subset=None,keep='first',inplace=False)

这一行代码与文章开头提到的那行代码效果等效,但是如果在该DataFrame上新增一列:

data['extra']=test_data['item_price_level']

就会报如下错误:

SettingWithCopyWarning:  A value is trying to be set on a copy of a slice from a DataFrame. 

所以如果想对DataFrame去重,最好采用开头提到的那行代码。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中有趣在__call__函数
Jun 21 Python
python实现日常记账本小程序
Mar 10 Python
python实现图书管理系统
Mar 12 Python
Python基于jieba库进行简单分词及词云功能实现方法
Jun 16 Python
Python将文本去空格并保存到txt文件中的实例
Jul 24 Python
pyqt远程批量执行Linux命令程序的方法
Feb 14 Python
Pytorch 搭建分类回归神经网络并用GPU进行加速的例子
Jan 09 Python
浅谈numpy中np.array()与np.asarray的区别以及.tolist
Jun 03 Python
解决keras,val_categorical_accuracy:,0.0000e+00问题
Jul 02 Python
python爬取网易云音乐热歌榜实例代码
Aug 07 Python
详解python的变量缓存机制
Jan 24 Python
matplotlib 范围选区(SpanSelector)的使用
Feb 24 Python
Python使用Pandas对csv文件进行数据处理的方法
Aug 01 #Python
python使用writerows写csv文件产生多余空行的处理方法
Aug 01 #Python
python psutil模块使用方法解析
Aug 01 #Python
python读写csv文件并增加行列的实例代码
Aug 01 #Python
Flask框架重定向,错误显示,Responses响应及Sessions会话操作示例
Aug 01 #Python
python对csv文件追加写入列的方法
Aug 01 #Python
Django Aggregation聚合使用方法解析
Aug 01 #Python
You might like
浅析echo(),print(),print_r(),return之间的区别
2013/11/27 PHP
Laravel中Trait的用法实例详解
2016/03/16 PHP
ThinkPHP框架实现数据增删改
2017/05/07 PHP
PHP实现cookie跨域session共享的方法分析
2019/08/23 PHP
网页中的图片的处理方法与代码
2009/11/26 Javascript
Js数组的操作push,pop,shift,unshift等方法详细介绍
2012/12/28 Javascript
多个checkbox被选中时如何判断是否有自己想要的
2014/09/22 Javascript
EasyUI闪屏EasyUI页面加载提示(原理+代码+效果图)
2016/02/21 Javascript
微信小程序 wx.request方法的异步封装实例详解
2017/05/18 Javascript
JavaScript对象_动力节点Java学院整理
2017/06/23 Javascript
自己动手封装一个React Native多级联动
2018/09/19 Javascript
微信小程序实现bindtap等事件传参
2019/04/08 Javascript
vue中对象数组去重的实现
2020/02/06 Javascript
使用JavaScript获取扫码枪扫描得到的条形码的思路代码详解
2020/06/10 Javascript
python中的五种异常处理机制介绍
2014/09/02 Python
Python基础练习之用户登录实现代码分享
2017/11/08 Python
django 使用 request 获取浏览器发送的参数示例代码
2018/06/11 Python
Windows下安装Scrapy
2018/10/17 Python
使用Python实现跳一跳自动跳跃功能
2019/07/10 Python
Python 实现输入任意多个数,并计算其平均值的例子
2019/07/16 Python
python中matplotlib条件背景颜色的实现
2019/09/02 Python
Python3以GitHub为例来实现模拟登录和爬取的实例讲解
2020/07/30 Python
阿玛尼美国官方网站:Armani.com
2016/11/25 全球购物
会计电算化专业应届大学生求职信
2013/10/22 职场文书
党员的自我评价范文
2014/01/02 职场文书
优秀教师事迹简介
2014/02/02 职场文书
小学教师寄语大全
2014/04/03 职场文书
环保倡议书范文
2014/05/12 职场文书
关于读书的活动方案
2014/08/14 职场文书
师德师风个人整改措施
2014/10/27 职场文书
2014年销售人员工作总结
2014/11/27 职场文书
大学生实习证明
2015/06/16 职场文书
小学班级标语口号大全
2015/12/26 职场文书
MySQL之select、distinct、limit的使用
2021/11/11 MySQL
python模拟浏览器 使用selenium进入好友QQ空间并留言
2022/04/12 Python
Python如何用re模块实现简易tokenizer
2022/05/02 Python