Pandas 同元素多列去重的实例


Posted in Python onJuly 03, 2018

有一些问题可能会遇到同元素多列去重问题,下面介绍一种非常简单效率也很快的做法,用pandas来实现。

首先我们看一下数据类型:

G1 G2
a b
b a
c d
d c
e f

对这样的两列数据进行同元素去重,最终得到结果为:

G1 G2
a b
c d
e f

代码如下:

#-*- coding: utf-8 -*-
data = {'G1':['a','b','c','d','e'],'G2':['b','a','d','c','f']}
data = pd.DataFrame(data)
data['G3'] = data['G1'] + '|' + data['G2']
p = []
for i in data['G3'].tolist():
  tmp = sorted(i.split('|')) # The most important part,sort 
  p.append(tmp[0] + '|' + tmp[1])
data['G3'] = pd.Series(p)
data = data.drop_duplicates('G3')

以上这篇Pandas 同元素多列去重的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python抓取Discuz!用户名脚本代码
Dec 30 Python
Python3字符串学习教程
Aug 20 Python
浅谈python抛出异常、自定义异常, 传递异常
Jun 20 Python
Python首次安装后运行报错(0xc000007b)的解决方法
Oct 18 Python
利用Python中SocketServer 实现客户端与服务器间非阻塞通信
Dec 15 Python
python使用正则表达式匹配字符串开头并打印示例
Jan 11 Python
Python中防止sql注入的方法详解
Feb 25 Python
Python学习笔记之if语句的使用示例
Oct 23 Python
Python通过OpenCV的findContours获取轮廓并切割实例
Jan 05 Python
Python中创建二维数组
Oct 17 Python
Python smtp邮件发送模块用法教程
Jun 15 Python
keras在构建LSTM模型时对变长序列的处理操作
Jun 29 Python
Python中Numpy包的安装与使用方法简明教程
Jul 03 #Python
Python单元测试简单示例
Jul 03 #Python
Python3使用pandas模块读写excel操作示例
Jul 03 #Python
Python+pandas计算数据相关系数的实例
Jul 03 #Python
在dataframe两列日期相减并且得到具体的月数实例
Jul 03 #Python
python设置值及NaN值处理方法
Jul 03 #Python
数据清洗--DataFrame中的空值处理方法
Jul 03 #Python
You might like
DW中链接mysql数据库时,建立字符集中文出现乱码的解决方法
2010/03/27 PHP
php下清空字符串中的HTML标签的代码
2010/09/06 PHP
PHP删除非空目录的函数代码小结
2013/02/28 PHP
smarty 缓存控制前的页面静态化原理
2013/03/15 PHP
hadoop常见错误以及处理方法详解
2013/06/19 PHP
解决file_get_contents无法请求https连接的方法
2013/12/17 PHP
php截取字符串之截取utf8或gbk编码的中英文字符串示例
2014/03/12 PHP
php读取mssql的ntext字段返回值为空的解决方法
2014/12/30 PHP
PHP中开启gzip压缩的2种方法
2015/01/31 PHP
PHP中filter函数校验数据的方法详解
2015/07/31 PHP
PHP连接及操作PostgreSQL数据库的方法详解
2019/01/30 PHP
YII2框架使用控制台命令的方法分析
2020/03/18 PHP
jquery创建并行对象或者合并对象的实现代码
2012/10/10 Javascript
jquery触发a标签跳转事件示例代码
2013/07/21 Javascript
javascript使用onclick事件改变选中行的颜色
2013/12/30 Javascript
浅析JS中document对象的一些重要属性
2014/03/06 Javascript
ExtJS4如何给同一个formpanel不同的url
2014/05/02 Javascript
PHP配置文件php.ini中打开错误报告的设置方法
2015/01/09 PHP
window.location.reload 刷新使用分析(去对话框)
2015/11/11 Javascript
深入理解Angular2 模板语法
2016/08/07 Javascript
详解微信小程序 template添加绑定事件
2017/06/23 Javascript
如何通过非数字与字符的方式实现PHP WebShell详解
2017/07/02 Javascript
vue如何进行动画的封装
2018/09/26 Javascript
layui之table checkbox初始化时选中对应选项的方法
2019/09/02 Javascript
Vue实现导航栏的显示开关控制
2019/11/01 Javascript
vue cli 3.0通用打包配置代码,不分一二级目录
2020/09/02 Javascript
Python实现采用进度条实时显示处理进度的方法
2017/12/19 Python
Python迭代器与生成器用法实例分析
2018/07/09 Python
windows系统中Python多版本与jupyter notebook使用虚拟环境的过程
2019/05/15 Python
python爬虫---requests库的用法详解
2020/09/28 Python
加拿大领先的冒险和户外零售商:Atmosphere
2017/12/19 全球购物
学员自我鉴定
2014/03/19 职场文书
三十年同学聚会感言
2015/07/30 职场文书
2015年高中语文教学总结
2015/08/18 职场文书
中秋节作文(五年级)之关于月亮
2019/09/11 职场文书
Mysql中一千万条数据怎么快速查询
2021/12/06 MySQL