Pandas 同元素多列去重的实例


Posted in Python onJuly 03, 2018

有一些问题可能会遇到同元素多列去重问题,下面介绍一种非常简单效率也很快的做法,用pandas来实现。

首先我们看一下数据类型:

G1 G2
a b
b a
c d
d c
e f

对这样的两列数据进行同元素去重,最终得到结果为:

G1 G2
a b
c d
e f

代码如下:

#-*- coding: utf-8 -*-
data = {'G1':['a','b','c','d','e'],'G2':['b','a','d','c','f']}
data = pd.DataFrame(data)
data['G3'] = data['G1'] + '|' + data['G2']
p = []
for i in data['G3'].tolist():
  tmp = sorted(i.split('|')) # The most important part,sort 
  p.append(tmp[0] + '|' + tmp[1])
data['G3'] = pd.Series(p)
data = data.drop_duplicates('G3')

以上这篇Pandas 同元素多列去重的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python运行报错UnicodeDecodeError的解决方法
Jun 07 Python
Python迭代和迭代器详解
Nov 10 Python
Django压缩静态文件的实现方法详析
Aug 26 Python
pandas使用apply多列生成一列数据的实例
Nov 28 Python
Django组件cookie与session的具体使用
Jun 05 Python
给你一面国旗 教你用python画中国国旗
Sep 24 Python
python基于opencv检测程序运行效率
Dec 28 Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 Python
Pytorch之finetune使用详解
Jan 18 Python
python之MSE、MAE、RMSE的使用
Feb 24 Python
pycharm激活方法到2099年(激活流程)
Sep 22 Python
Python classmethod装饰器原理及用法解析
Oct 17 Python
Python中Numpy包的安装与使用方法简明教程
Jul 03 #Python
Python单元测试简单示例
Jul 03 #Python
Python3使用pandas模块读写excel操作示例
Jul 03 #Python
Python+pandas计算数据相关系数的实例
Jul 03 #Python
在dataframe两列日期相减并且得到具体的月数实例
Jul 03 #Python
python设置值及NaN值处理方法
Jul 03 #Python
数据清洗--DataFrame中的空值处理方法
Jul 03 #Python
You might like
PHP 杂谈《重构-改善既有代码的设计》之一 重新组织你的函数
2012/04/09 PHP
ThinkPHP3.1基础知识快速入门
2014/06/19 PHP
PHP中预定义的6种接口介绍
2015/05/12 PHP
PHP基于mssql扩展远程连接MSSQL的简单实现方法
2016/10/08 PHP
根据分辨率不同,调用不同的css文件
2006/07/07 Javascript
Jquery下的26个实用小技巧(jQuery tips, tricks & solutions)
2010/03/01 Javascript
{}与function(){}选用空对象{}来存放keyValue
2012/05/23 Javascript
js 剪切板的用法(clipboardData.setData)与js match函数介绍
2013/11/19 Javascript
jQuery控制DIV层实现由大到小,由远及近动画变化效果
2015/10/09 Javascript
JS清除文本框内容离开在恢复及鼠标离开文本框时触发js的方法
2016/01/12 Javascript
使用Sticky组件实现带sticky效果的tab导航和滚动导航的方法
2016/03/22 Javascript
Node.js 文件夹目录结构创建实例代码
2016/07/08 Javascript
js 将input框中的输入自动转化成半角大写(税号输入框)
2017/02/16 Javascript
使用JS和canvas实现gif动图的停止和播放代码
2017/09/01 Javascript
jQuery实现火车票买票城市选择切换功能
2017/09/15 jQuery
Vue精简版风格概述
2018/01/30 Javascript
详解Vue-cli中的静态资源管理(src/assets和static/的区别)
2018/06/19 Javascript
jQuery 操作 HTML 元素和属性的方法
2018/11/12 jQuery
Angular2使用SVG自定义图表(条形图、折线图)组件示例
2019/05/10 Javascript
element-ui 中使用upload多文件上传只请求一次接口
2019/07/19 Javascript
关于vue组件事件属性穿透详解
2019/10/28 Javascript
Vue清除定时器setInterval优化方案分享
2020/07/21 Javascript
[48:51]完美世界DOTA2联赛PWL S2 Magma vs InkIce 第一场 11.28
2020/12/02 DOTA
如何运行Python程序的方法
2013/04/21 Python
Python中将变量按行写入txt文本中的方法
2018/04/03 Python
用Python3创建httpServer的简单方法
2018/06/04 Python
python的range和linspace使用详解
2019/11/27 Python
python_mask_array的用法
2020/02/18 Python
Django中的session用法详解
2020/03/09 Python
python 通过exifread读取照片信息
2020/12/24 Python
生日邀请函范文
2014/01/13 职场文书
六一儿童节活动策划方案
2014/01/27 职场文书
模具设计与制造专业自荐书
2014/07/01 职场文书
门面房租房协议书
2014/12/01 职场文书
工地材料员岗位职责
2015/04/11 职场文书
2015年医生个人工作总结
2015/04/25 职场文书