pd.drop_duplicates删除重复行的方法实现


Posted in Python onJune 16, 2022

drop_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行,返回 DataFrame 格式数据。

一、使用语法及参数

使用语法:

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

参数:

  • subset – 指定特定的列 默认所有列
  • keep:{‘first’, ‘last’, False} – 删除重复项并保留第一次出现的项 默认第一个
  • keep=False – 表示删除所有重复项 不保留
  • inplace – 是否直接修改原对象
  • gnore_index=True – 重置索引 (version 1.0.0 才有这个参数)

二、实操

1.例子一

import pandas as pd
df = pd.DataFrame({'a':[1,1,2,2],
                   'b':['a','b','a','b']})

# 单列
df.drop_duplicates('b', 'first', inplace=True)
print(df)
'''
   a  b
0  1  a
1  1  b
'''

# 多列
df.drop_duplicates(subset=['a', 'b'], keep='first', inplace=False)

# 删除所有重复项 不保留
df.drop_duplicates(subset=['a', 'b'], False)

2.例子二

# 构建测试数据框
import pandas as pd
df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})

# 默认按所有列去重
df.drop_duplicates()

# 指定列
df.drop_duplicates(subset=['brand'])

# 保留最后一个重复值
df.drop_duplicates(subset=['brand', 'style'], keep='last')

3.删除重复项后重置索引

# 方法一
df.drop_duplicates(ignore_index=True)

# 方法二
df.drop_duplicates().reset_index(drop=True)

# 方法三
df.index = range(df.shape[0])

到此这篇关于pd.drop_duplicates删除重复行的方法实现的文章就介绍到这了,更多相关pd.drop_duplicates删除重复行内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现命令行通讯录实例教程
Aug 18 Python
python executemany的使用及注意事项
Mar 13 Python
Python实现针对含中文字符串的截取功能示例
Sep 22 Python
Python列表生成式与生成器操作示例
Aug 01 Python
Python实现压缩文件夹与解压缩zip文件的方法
Sep 01 Python
python 生成图形验证码的方法示例
Nov 11 Python
python爬取微信公众号文章的方法
Feb 26 Python
Opencv+Python实现图像运动模糊和高斯模糊的示例
Apr 11 Python
Python3内置模块之base64编解码方法详解
Jul 13 Python
python修改FTP服务器上的文件名
Sep 11 Python
python 如何利用argparse解析命令行参数
Sep 11 Python
python爬不同图片分别保存在不同文件夹中的实现
Apr 02 Python
使用pd.merge表连接出现多余行的问题解决
Jun 16 #Python
pd.DataFrame中的几种索引变换的实现
Python实战实现爬取天气数据并完成可视化分析详解
pandas时间序列之pd.to_datetime()的实现
Jun 16 #Python
pandas中pd.groupby()的用法详解
Jun 16 #Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 #Python
Python自动操作神器PyAutoGUI的使用教程
Jun 16 #Python
You might like
PHP使用DirectoryIterator显示下拉文件列表的方法
2015/03/13 PHP
PHP-FPM的配置与优化讲解
2019/03/15 PHP
ThinkPhP+Apache+PHPstorm整合框架流程图解
2020/11/23 PHP
RGB颜色值转HTML十六进制(HEX)代码的JS函数
2009/04/25 Javascript
jQuery学习笔记之jQuery选择器的使用
2010/12/22 Javascript
javascript中的注释使用与注意事项小结
2011/09/20 Javascript
js和php如何获取当前url的内容
2013/09/22 Javascript
超棒的响应式布局jQuery插件Freetile.js
2014/11/17 Javascript
javascript实现倒计时N秒后网页自动跳转代码
2014/12/11 Javascript
JavaScript中switch语句的用法详解
2015/06/03 Javascript
JS特效实现图片自动播放并可控的效果
2015/07/31 Javascript
基于jQuery实现Div窗口震动特效代码-代码简单
2015/08/28 Javascript
JavaScrip常见的一些算法总结
2015/12/28 Javascript
js实现上传图片及时预览
2016/05/07 Javascript
JavaScript解八皇后问题的方法总结
2016/06/12 Javascript
jQuery实现的纵向下拉菜单实例详解【附demo源码下载】
2016/07/09 Javascript
Javascript oop设计模式 面向对象编程简单实例介绍
2016/12/13 Javascript
jQuery插件select2利用ajax高效查询大数据列表(可搜索、可分页)
2017/05/19 jQuery
vue.js 获取select中的value实例
2018/03/01 Javascript
用react-redux实现react组件之间数据共享的方法
2018/06/08 Javascript
使用proxy实现一个更优雅的vue【推荐】
2018/06/19 Javascript
vue element 生成无线级左侧菜单的实现代码
2019/08/21 Javascript
vue 里面的 $forceUpdate() 强制实例重新渲染操作
2020/09/21 Javascript
[03:11]2014DOTA2国际邀请赛-VG掉入败者组 独家专访357
2014/07/19 DOTA
[01:24]DOTA2上海特锦赛OG战队抵达 专车接机入驻总统套房
2016/02/23 DOTA
Python 实现随机数详解及实例代码
2017/04/15 Python
python3实现公众号每日定时发送日报和图片
2018/02/24 Python
python模拟登陆,用session维持回话的实例
2018/12/27 Python
python3+pyqt5+itchat微信定时发送消息的方法
2019/02/20 Python
Selenium启动Chrome时配置选项详解
2020/03/18 Python
Python中过滤字符串列表的方法
2020/12/22 Python
建龙钢铁面试总结
2014/04/15 面试题
学校安全工作制度
2014/01/19 职场文书
思想作风纪律整顿心得体会
2014/09/04 职场文书
卫生保健工作总结2015
2015/05/18 职场文书
MySQL查询学习之基础查询操作
2021/05/08 MySQL