Python对多属性的重复数据去重实例


Posted in Python onApril 18, 2018

python中的pandas模块中对重复数据去重步骤:

1)利用DataFrame中的duplicated方法返回一个布尔型的Series,显示各行是否有重复行,没有重复行显示为FALSE,有重复行显示为TRUE;

2)再利用DataFrame中的drop_duplicates方法用于返回一个移除了重复行的DataFrame。

注释:

如果duplicated方法和drop_duplicates方法中没有设置参数,则这两个方法默认会判断全部咧,如果在这两个方法中加入了指定的属性名(或者称为列名),例如:frame.drop_duplicates(['state']),则指定部分列(state列)进行重复项的判断。

具体实例如下:

>>> import pandas as pd 
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
>>> frame=pd.DataFrame(data) 
>>> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
>>> IsDuplicated=frame.duplicated() 
>>> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
>>> frame=frame.drop_duplicates(['state']) 
>>> frame 
 pop state 
0 a  1 
2 c  2 
>>> IsDuplicated=frame.duplicated(['state']) 
>>> print IsDuplicated 
0 False 
2 False 
dtype: bool 
>>>

以上这篇Python对多属性的重复数据去重实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
如何使用VSCode愉快的写Python于调试配置步骤
Apr 06 Python
对Python 语音识别框架详解
Dec 24 Python
Django使用redis缓存服务器的实现代码示例
Apr 28 Python
Python 中Django安装和使用教程详解
Jul 03 Python
Django使用unittest模块进行单元测试过程解析
Aug 02 Python
Python对列表的操作知识点详解
Aug 20 Python
Python pandas实现excel工作表合并功能详解
Aug 29 Python
给keras层命名,并提取中间层输出值,保存到文档的实例
May 23 Python
Python局部变量与全局变量区别原理解析
Jul 14 Python
Python实现壁纸下载与轮换
Oct 19 Python
发工资啦!教你用Python实现邮箱自动群发工资条
May 10 Python
Python中常见的反爬机制及其破解方法总结
Jun 10 Python
Python3实现的字典遍历操作详解
Apr 18 #Python
Python基于递归算法实现的汉诺塔与Fibonacci数列示例
Apr 18 #Python
python 删除列表里所有空格项的方法总结
Apr 18 #Python
python list删除元素时要注意的坑点分享
Apr 18 #Python
python爬虫之xpath的基本使用详解
Apr 18 #Python
基于python list对象中嵌套元组使用sort时的排序方法
Apr 18 #Python
python购物车程序简单代码
Apr 18 #Python
You might like
php使用curl获取https请求的方法
2015/02/11 PHP
php单例模式示例分享
2015/02/12 PHP
PHP数组操作类实例
2015/07/11 PHP
使用php完成常见的文件上传功能(推荐)
2017/01/13 PHP
Javascript YUI 读码日记之 YAHOO.util.Dom - Part.3
2008/03/22 Javascript
用JavaScript将从数据库中读取出来的日期型格式化为想要的类型。
2009/08/15 Javascript
javascript parseInt与Number函数的区别
2010/01/21 Javascript
jQuery Dialog 弹出层对话框插件
2010/08/09 Javascript
js的写法基础分析
2011/01/17 Javascript
js动态创建、删除表格示例代码
2013/08/07 Javascript
JavaScript实现俄罗斯方块游戏过程分析及源码分享
2015/03/23 Javascript
JavaScript中字符串分割函数split用法实例
2015/04/07 Javascript
Bootstrap每天必学之导航组件
2016/04/25 Javascript
IScroll5 中文API参数说明和调用方法
2016/05/21 Javascript
简单实现jQuery级联菜单
2017/01/09 Javascript
10个最受欢迎的 JavaScript框架(推荐)
2019/04/24 Javascript
Vue组件实现触底判断
2019/06/26 Javascript
小程序登录之支付宝授权的实现示例
2019/12/13 Javascript
npm qs模块使用详解
2020/02/07 Javascript
微信小程序实现电子签名并导出图片
2020/05/27 Javascript
vue全局使用axios的操作
2020/09/08 Javascript
[01:03:03]VP vs Mineski 2018国际邀请赛淘汰赛BO3 第一场 8.22
2018/08/23 DOTA
Python制作CSDN免积分下载器
2015/03/10 Python
python实现读取命令行参数的方法
2015/05/22 Python
使用Python的Django框架结合jQuery实现AJAX购物车页面
2016/04/11 Python
Python如何计算语句执行时间
2019/11/22 Python
Python输出指定字符串的方法
2020/02/06 Python
玩具反斗城天猫官方旗舰店:享誉全球的玩具店
2017/10/10 全球购物
美国在线面料商店:Online Fabric Store
2018/07/26 全球购物
如何进行Linux分区优化
2013/02/12 面试题
工程索赔意向书
2014/08/30 职场文书
英语辞职信怎么写
2015/02/28 职场文书
幼儿园个人总结
2015/02/28 职场文书
导游词之张家界
2019/10/31 职场文书
Dubbo+zookeeper搭配分布式服务的过程详解
2022/04/03 Java/Android
GoFrame框架数据校验之校验结果Error接口对象
2022/06/21 Golang