pd.drop_duplicates删除重复行的方法实现


Posted in Python onJune 16, 2022

drop_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行,返回 DataFrame 格式数据。

一、使用语法及参数

使用语法:

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

参数:

  • subset – 指定特定的列 默认所有列
  • keep:{‘first’, ‘last’, False} – 删除重复项并保留第一次出现的项 默认第一个
  • keep=False – 表示删除所有重复项 不保留
  • inplace – 是否直接修改原对象
  • gnore_index=True – 重置索引 (version 1.0.0 才有这个参数)

二、实操

1.例子一

import pandas as pd
df = pd.DataFrame({'a':[1,1,2,2],
                   'b':['a','b','a','b']})

# 单列
df.drop_duplicates('b', 'first', inplace=True)
print(df)
'''
   a  b
0  1  a
1  1  b
'''

# 多列
df.drop_duplicates(subset=['a', 'b'], keep='first', inplace=False)

# 删除所有重复项 不保留
df.drop_duplicates(subset=['a', 'b'], False)

2.例子二

# 构建测试数据框
import pandas as pd
df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})

# 默认按所有列去重
df.drop_duplicates()

# 指定列
df.drop_duplicates(subset=['brand'])

# 保留最后一个重复值
df.drop_duplicates(subset=['brand', 'style'], keep='last')

3.删除重复项后重置索引

# 方法一
df.drop_duplicates(ignore_index=True)

# 方法二
df.drop_duplicates().reset_index(drop=True)

# 方法三
df.index = range(df.shape[0])

到此这篇关于pd.drop_duplicates删除重复行的方法实现的文章就介绍到这了,更多相关pd.drop_duplicates删除重复行内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python2.7删除文件夹和删除文件代码实例
Dec 18 Python
python进阶教程之循环相关函数range、enumerate、zip
Aug 30 Python
python使用in操作符时元组和数组的区别分析
May 19 Python
通过数据库对Django进行删除字段和删除模型的操作
Jul 21 Python
程序员写Python时的5个坏习惯,你有几条?
Nov 26 Python
Python发展史及网络爬虫
Jun 19 Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 Python
Python+OpenCv制作证件图片生成器的操作方法
Aug 21 Python
解决Atom安装Hydrogen无法运行python3的问题
Aug 28 Python
Python谱减法语音降噪实例
Dec 18 Python
Django实现图片上传功能步骤解析
Apr 22 Python
python字符串的一些常见实用操作
Apr 06 Python
使用pd.merge表连接出现多余行的问题解决
Jun 16 #Python
pd.DataFrame中的几种索引变换的实现
Python实战实现爬取天气数据并完成可视化分析详解
pandas时间序列之pd.to_datetime()的实现
Jun 16 #Python
pandas中pd.groupby()的用法详解
Jun 16 #Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 #Python
Python自动操作神器PyAutoGUI的使用教程
Jun 16 #Python
You might like
PHP安装memcached扩展笔记
2015/05/28 PHP
PHP微信开发之查询城市天气
2016/06/23 PHP
PHP基于GD2函数库实现验证码功能示例
2019/01/27 PHP
php 使用expat方式解析xml文件操作示例
2019/11/26 PHP
jQuery的实现原理的模拟代码 -5 Ajax
2010/08/07 Javascript
Javascript实现重力弹跳拖拽运动效果示例
2013/06/28 Javascript
JS上传图片前实现图片预览效果的方法
2015/03/02 Javascript
JavaScript返回上一页的三种方法及区别介绍
2015/07/04 Javascript
JavaScript实现网页加载进度条代码超简单
2015/09/21 Javascript
javascript 实现动态侧边栏实例详解
2016/11/11 Javascript
js通过指定下标或指定元素进行删除数组的实例
2017/01/12 Javascript
JS中Safari浏览器中的Date
2017/07/17 Javascript
解决nodejs的npm命令无反应的问题
2018/05/17 NodeJs
深入了解Hybrid App技术的相关知识
2019/07/17 Javascript
js实现窗口全屏示例详解
2019/09/17 Javascript
JavaScript实现英语单词题库
2019/12/24 Javascript
在JavaScript中实现链式调用的实现
2019/12/24 Javascript
[04:38]完美世界携手游戏风云打造 卡尔工作室饰品系统篇
2013/04/25 DOTA
python文件操作整理汇总
2014/10/21 Python
python通过自定义isnumber函数判断字符串是否为数字的方法
2015/04/23 Python
python在windows下创建隐藏窗口子进程的方法
2015/06/04 Python
Python 3.6 读取并操作文件内容的实例
2018/04/23 Python
python实现傅里叶级数展开的实现
2018/07/21 Python
对python中dict和json的区别详解
2018/12/18 Python
django中使用事务及接入支付宝支付功能
2019/09/15 Python
JAVA及PYTHON质数计算代码对比解析
2020/06/10 Python
重构Python代码的六个实例
2020/11/25 Python
10 套华丽的CSS3 按钮小结
2012/10/03 HTML / CSS
洛杉矶时尚女装系列:J.ING US
2019/03/17 全球购物
理想演讲稿范文
2014/05/21 职场文书
简单通用的简历自我评价
2014/09/21 职场文书
幼儿园见习报告范文
2014/10/30 职场文书
2015年元旦主持词开场白
2014/12/14 职场文书
学校捐书活动总结
2015/05/08 职场文书
2016关于军训的心得体会
2016/01/11 职场文书
golang实现浏览器导出excel文件功能
2022/03/25 Golang