pd.drop_duplicates删除重复行的方法实现


Posted in Python onJune 16, 2022

drop_duplicates 方法实现对数据框 DataFrame 去除特定列的重复行,返回 DataFrame 格式数据。

一、使用语法及参数

使用语法:

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

参数:

  • subset – 指定特定的列 默认所有列
  • keep:{‘first’, ‘last’, False} – 删除重复项并保留第一次出现的项 默认第一个
  • keep=False – 表示删除所有重复项 不保留
  • inplace – 是否直接修改原对象
  • gnore_index=True – 重置索引 (version 1.0.0 才有这个参数)

二、实操

1.例子一

import pandas as pd
df = pd.DataFrame({'a':[1,1,2,2],
                   'b':['a','b','a','b']})

# 单列
df.drop_duplicates('b', 'first', inplace=True)
print(df)
'''
   a  b
0  1  a
1  1  b
'''

# 多列
df.drop_duplicates(subset=['a', 'b'], keep='first', inplace=False)

# 删除所有重复项 不保留
df.drop_duplicates(subset=['a', 'b'], False)

2.例子二

# 构建测试数据框
import pandas as pd
df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})

# 默认按所有列去重
df.drop_duplicates()

# 指定列
df.drop_duplicates(subset=['brand'])

# 保留最后一个重复值
df.drop_duplicates(subset=['brand', 'style'], keep='last')

3.删除重复项后重置索引

# 方法一
df.drop_duplicates(ignore_index=True)

# 方法二
df.drop_duplicates().reset_index(drop=True)

# 方法三
df.index = range(df.shape[0])

到此这篇关于pd.drop_duplicates删除重复行的方法实现的文章就介绍到这了,更多相关pd.drop_duplicates删除重复行内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python获取命令行输入参数列表的实例代码
Jun 23 Python
彻彻底底地理解Python中的编码问题
Oct 15 Python
使用Python OpenCV为CNN增加图像样本的实现
Jun 10 Python
python暴力解压rar加密文件过程详解
Jul 05 Python
使用python socket分发大文件的实现方法
Jul 08 Python
python3中利用filter函数输出小于某个数的所有回文数实例
Nov 24 Python
python str字符串转uuid实例
Mar 03 Python
如何在Windows中安装多个python解释器
Jun 16 Python
python中xlrd模块的使用详解
Feb 01 Python
python 求两个向量的顺时针夹角操作
Mar 04 Python
python自动化测试之Selenium详解
Mar 13 Python
Python使用socket去实现TCP客户端和TCP服务端
Apr 12 Python
使用pd.merge表连接出现多余行的问题解决
Jun 16 #Python
pd.DataFrame中的几种索引变换的实现
Python实战实现爬取天气数据并完成可视化分析详解
pandas时间序列之pd.to_datetime()的实现
Jun 16 #Python
pandas中pd.groupby()的用法详解
Jun 16 #Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 #Python
Python自动操作神器PyAutoGUI的使用教程
Jun 16 #Python
You might like
来自phpguru得Php Cache类源码
2010/04/15 PHP
11个PHPer必须要了解的编程规范
2014/09/22 PHP
php实现给图片加灰色半透明效果的方法
2014/10/20 PHP
ThinkPHP数据操作方法总结
2015/09/28 PHP
PHP实现的自定义数组排序函数与排序类示例
2016/11/18 PHP
javascript Zifa FormValid 0.1表单验证 代码打包下载
2007/06/08 Javascript
基于jQuery的树控件实现代码(asp.net+json)
2010/07/11 Javascript
潜说js对象和数组
2011/05/25 Javascript
js绘制购物车抛物线动画
2020/11/18 Javascript
AngularJS 自定义过滤器详解及实例代码
2016/09/14 Javascript
bootstrapvalidator之API学习教程
2017/06/29 Javascript
Vue中v-for的数据分组实例
2018/03/07 Javascript
jQuery实现输入框的放大和缩小功能示例
2018/07/21 jQuery
[42:50]NB vs VP 2018国际邀请赛小组赛BO2 第二场 8.18
2018/08/19 DOTA
使用Django的模版来配合字符串翻译工作
2015/07/27 Python
Python符号计算之实现函数极限的方法
2019/07/15 Python
深入了解Python在HDA中的应用
2019/09/05 Python
python下载的库包存放路径
2020/07/27 Python
解决pycharm不能自动保存在远程linux中的问题
2021/02/06 Python
html5文本内容_动力节点Java学院整理
2017/07/11 HTML / CSS
一款html5 canvas实现的图片玻璃碎片特效
2014/09/11 HTML / CSS
详解移动端html5页面长按实现高亮全选文本内容的兼容解决方案
2016/12/03 HTML / CSS
美国值得信赖的婚恋交友网站:eHarmony
2018/10/04 全球购物
优秀护士演讲稿
2014/04/30 职场文书
社区义诊活动总结
2014/04/30 职场文书
庆国庆活动总结
2014/08/28 职场文书
11.9消防日宣传标语
2014/10/08 职场文书
师德标兵事迹材料
2014/12/19 职场文书
工程技术负责人岗位职责
2015/04/13 职场文书
2015个人年度工作总结范文
2015/05/28 职场文书
法律讲堂观后感
2015/06/11 职场文书
2016年重阳节慰问信
2015/12/01 职场文书
如何撰写出一份完美的商业计划书?
2019/07/12 职场文书
Pandas 稀疏数据结构的实现
2021/07/25 Python
一小时迅速入门Mybatis之bind与多数据源支持 Java API
2021/09/15 Javascript
搞笑Gif:这么白这么长的腿像极了一楼的女朋友
2022/03/21 杂记