Python对多属性的重复数据去重实例


Posted in Python onApril 18, 2018

python中的pandas模块中对重复数据去重步骤:

1)利用DataFrame中的duplicated方法返回一个布尔型的Series,显示各行是否有重复行,没有重复行显示为FALSE,有重复行显示为TRUE;

2)再利用DataFrame中的drop_duplicates方法用于返回一个移除了重复行的DataFrame。

注释:

如果duplicated方法和drop_duplicates方法中没有设置参数,则这两个方法默认会判断全部咧,如果在这两个方法中加入了指定的属性名(或者称为列名),例如:frame.drop_duplicates(['state']),则指定部分列(state列)进行重复项的判断。

具体实例如下:

>>> import pandas as pd 
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
>>> frame=pd.DataFrame(data) 
>>> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
>>> IsDuplicated=frame.duplicated() 
>>> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
>>> frame=frame.drop_duplicates(['state']) 
>>> frame 
 pop state 
0 a  1 
2 c  2 
>>> IsDuplicated=frame.duplicated(['state']) 
>>> print IsDuplicated 
0 False 
2 False 
dtype: bool 
>>>

以上这篇Python对多属性的重复数据去重实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python进阶教程之循环对象
Aug 30 Python
浅谈python字典多键值及重复键值的使用
Nov 04 Python
Python如何import文件夹下的文件(实现方法)
Jan 24 Python
Python 专题一 函数的基础知识
Mar 16 Python
Django实现简单分页功能的方法详解
Dec 05 Python
python用户管理系统的实例讲解
Dec 23 Python
Python读写/追加excel文件Demo分享
May 03 Python
详解Django+Uwsgi+Nginx的生产环境部署
Jun 25 Python
Python 生成 -1~1 之间的随机数矩阵方法
Aug 04 Python
详解用python生成随机数的几种方法
Aug 04 Python
浅析python中while循环和for循环
Nov 19 Python
Python3+Appium安装及Appium模拟微信登录方法详解
Feb 16 Python
Python3实现的字典遍历操作详解
Apr 18 #Python
Python基于递归算法实现的汉诺塔与Fibonacci数列示例
Apr 18 #Python
python 删除列表里所有空格项的方法总结
Apr 18 #Python
python list删除元素时要注意的坑点分享
Apr 18 #Python
python爬虫之xpath的基本使用详解
Apr 18 #Python
基于python list对象中嵌套元组使用sort时的排序方法
Apr 18 #Python
python购物车程序简单代码
Apr 18 #Python
You might like
从MySQL数据库表中取出随机数据的代码
2007/09/05 PHP
JS 分号引起的一段调试问题
2009/06/18 Javascript
jquery 弹出层注册页面等(asp.net后台)
2010/06/17 Javascript
为JavaScript添加重载函数的辅助方法
2010/07/04 Javascript
基于jquery的Repeater实现代码
2010/07/17 Javascript
通过一段代码简单说js中的this的使用
2013/07/23 Javascript
JS设置获取cookies的方法
2014/01/26 Javascript
jquery遍历checkbox的注意事项说明
2014/02/21 Javascript
首页图片漂浮效果示例代码
2014/06/05 Javascript
在线所见即所得HTML编辑器的实现原理浅析
2015/04/25 Javascript
javascript每日必学之循环
2016/02/19 Javascript
javascript 中设置window.location.href跳转无效问题解决办法
2017/02/09 Javascript
基于vue-ssr服务端渲染入门详解
2018/01/08 Javascript
VUE2 前端实现 静态二级省市联动选择select的示例
2018/02/09 Javascript
node中间层实现文件上传功能
2018/06/11 Javascript
vue 下列表侧滑操作实例代码详解
2018/07/24 Javascript
在vue中使用echarts(折线图的demo,markline用法)
2020/07/20 Javascript
python 装饰器功能以及函数参数使用介绍
2012/01/27 Python
浅谈Python的异常处理
2016/06/19 Python
利用Celery实现Django博客PV统计功能详解
2017/05/08 Python
使用Numpy读取CSV文件,并进行行列删除的操作方法
2018/07/04 Python
Python后台开发Django的教程详解(启动)
2019/04/08 Python
Django网络框架之创建虚拟开发环境操作示例
2019/06/06 Python
Python 3.6 -win64环境安装PIL模块的教程
2019/06/20 Python
python try except返回异常的信息字符串代码实例
2019/08/15 Python
基于python实现监听Rabbitmq系统日志代码示例
2020/11/28 Python
用HTML5 Canvas API中的clearRect()方法实现橡皮擦功能
2016/03/15 HTML / CSS
html5超简单的localStorage实现记住密码的功能实现
2017/09/07 HTML / CSS
苏格兰领先的多渠道鞋店:Begg Shoes
2019/10/22 全球购物
电子邮箱格式怎么写
2014/01/12 职场文书
住宿生擅自离校检讨书
2014/09/22 职场文书
2015年简历自我评价范文
2015/03/11 职场文书
格列夫游记读书笔记
2015/07/01 职场文书
军训新闻稿范文
2015/07/17 职场文书
《草船借箭》教学反思
2016/02/23 职场文书
SpringBoot+Vue+JWT的前后端分离登录认证详细步骤
2021/09/25 Java/Android