Pandas 同元素多列去重的实例


Posted in Python onJuly 03, 2018

有一些问题可能会遇到同元素多列去重问题,下面介绍一种非常简单效率也很快的做法,用pandas来实现。

首先我们看一下数据类型:

G1 G2
a b
b a
c d
d c
e f

对这样的两列数据进行同元素去重,最终得到结果为:

G1 G2
a b
c d
e f

代码如下:

#-*- coding: utf-8 -*-
data = {'G1':['a','b','c','d','e'],'G2':['b','a','d','c','f']}
data = pd.DataFrame(data)
data['G3'] = data['G1'] + '|' + data['G2']
p = []
for i in data['G3'].tolist():
  tmp = sorted(i.split('|')) # The most important part,sort 
  p.append(tmp[0] + '|' + tmp[1])
data['G3'] = pd.Series(p)
data = data.drop_duplicates('G3')

以上这篇Pandas 同元素多列去重的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用pprint函数进行格式化输出的教程
Apr 07 Python
Python检测一个对象是否为字符串类的方法
May 21 Python
python九九乘法表的实例
Sep 26 Python
[原创]windows下Anaconda的安装与配置正解(Anaconda入门教程)
Apr 05 Python
python筛选出两个文件中重复行的方法
May 31 Python
Django压缩静态文件的实现方法详析
Aug 26 Python
[原创]Python入门教程1. 基本运算【四则运算、变量、math模块等】
Oct 28 Python
python re.sub()替换正则的匹配内容方法
Jul 22 Python
python 一篇文章搞懂装饰器所有用法(建议收藏)
Aug 23 Python
详解python中eval函数的作用
Oct 22 Python
pygame库实现移动底座弹球小游戏
Apr 14 Python
Python基础之教你怎么在M1系统上使用pandas
May 08 Python
Python中Numpy包的安装与使用方法简明教程
Jul 03 #Python
Python单元测试简单示例
Jul 03 #Python
Python3使用pandas模块读写excel操作示例
Jul 03 #Python
Python+pandas计算数据相关系数的实例
Jul 03 #Python
在dataframe两列日期相减并且得到具体的月数实例
Jul 03 #Python
python设置值及NaN值处理方法
Jul 03 #Python
数据清洗--DataFrame中的空值处理方法
Jul 03 #Python
You might like
PHP 小心urldecode引发的SQL注入漏洞
2011/10/27 PHP
phpExcel导出大量数据出现内存溢出错误的解决方法
2013/02/28 PHP
php使用curl简单抓取远程url的方法
2015/03/13 PHP
php自定义函数实现二维数组排序功能
2016/07/20 PHP
PHP+jquery+CSS制作头像登录窗(仿QQ登陆)
2016/10/20 PHP
PHP基于迭代实现文件夹复制、删除、查看大小等操作的方法
2017/08/11 PHP
thinkphp整合系列之极验滑动验证码geetest功能
2019/06/18 PHP
为javascript添加String.Format方法
2020/08/11 Javascript
点弹代码 点击页面任何位置都可以弹出页面效果代码
2012/09/17 Javascript
5秒后跳转效果(setInterval/SetTimeOut)
2013/05/03 Javascript
jQuery多级手风琴菜单实例讲解
2015/10/22 Javascript
使用ionic播放轮询广告的实现方法(必看)
2017/04/24 Javascript
完美实现js拖拽效果 return false用法详解
2017/07/28 Javascript
js实现鼠标移动到图片产生遮罩效果
2017/10/21 Javascript
利用HBuilder打包前端开发webapp为apk的方法
2017/11/13 Javascript
Javascript中的作用域及块级作用域
2017/12/08 Javascript
Express本地测试HTTPS的示例代码
2018/06/06 Javascript
vue $set 给数据赋值的实例
2019/11/09 Javascript
介绍Python中的文档测试模块
2015/04/28 Python
使用python-opencv读取视频,计算视频总帧数及FPS的实现
2019/12/10 Python
numpy矩阵数值太多不能全部显示的解决
2020/05/14 Python
Keras之fit_generator与train_on_batch用法
2020/06/17 Python
Python生成并下载文件后端代码实例
2020/08/31 Python
python二维图制作的实例代码
2020/12/03 Python
环境科学专业研究生求职信
2013/10/02 职场文书
招商经理岗位职责
2013/11/16 职场文书
低碳生活倡议书
2014/04/14 职场文书
清洁工岗位职责
2015/02/13 职场文书
2016春节家属慰问信
2015/03/25 职场文书
2015年暑期社会实践活动总结
2015/03/27 职场文书
成品仓库管理员岗位职责
2015/04/09 职场文书
七一表彰大会简报
2015/07/20 职场文书
趣味运动会广播稿
2015/08/19 职场文书
《用字母表示数》教学反思
2016/02/17 职场文书
Python 高级库15 个让新手爱不释手(推荐)
2021/05/15 Python
深入理解java.lang.String类的不可变性
2021/06/27 Java/Android