Python Merge函数原理及用法解析


Posted in Python onSeptember 16, 2020

Merge函数的用法

简单来说Merge函数相当于Excel中的vlookup函数。当我们对2个表进行数据合并的时候需要通过指定两个表中相同的列作为key,然后通过key匹配到其中要合并在一起的values值。

然后对于merge函数在Pandas中分为1vs1, 多(m)vs1,以及多(m)vs多(m)这三种场景。但是平时用的最多的往往是多vs1的这种场景。也就是说2个表中其中一个表作为key的值会出现重复,而另外一个表作为key的值则是唯一。

这种场景也很好理解。例如:我们在生产环境中对服务器进行管理,一台服务器上可能装了各种各样的软件。那么如果是Excel表格来管理的话一个软件就占用一行信息。而服务器名是相同的。所以一个相同的服务器名就会出现多个。

这台服务器上安装了多少个软件,服务器名就会重复几次,也就是最终有几行。那么另外一个表要想读取这台服务器上安装的所有软件,那么服务器名就要作为key,各个软件的信息则是value值。最终被读取写入的那张表的key只能唯一。

我们看下面这个案例,是真实多v1的案例。为了数据安全我只能把截图分享给大家,并把服务器名遮掩希望大家谅解。

数据表1:作为查询的总表,其中服务器名这列就是B列中的信息会出现重复

Python Merge函数原理及用法解析

数据表2:下表为按照表1的key就是hostname来匹配,匹配到后按照表2的列名来读取信息写入到表2.这里同上因为服务器名敏感,所以也用马赛克挡住了,忘谅解。

Python Merge函数原理及用法解析

代码演示:

1. 读取表1,表2中的内容,作为DataFrame赋值给变量

#%%

import pandas as pd

#读取表1
df01 = pd.read_excel("./datas/new_all_datas.xlsx",
           header=5)
df01.head()

#%%

#读取表2
df02 = pd.read_excel("./datas/new_software_InputSheet.xlsx")
df02

#%%

2. 通过merge函数合并两个DataFrame。on代表指明拿什么作为key来进行匹配。how这里分为left,right,inner,outer等方式。这里left代表按照表1为主表进行合并。

#%%
#ホスト名作为key来匹配两个表,相当于vlookup函数
#how=left代表以left左表为主,这里则代表表二为左表
df03 = pd.merge(df02,df01,on="ホスト名",how="left")
df03

结果:合并结果如下。但是因为表1,表2中出现重复元素的列名,因此合并后Pandas会按照后缀,把相同列名按照_x,_y的方式生成多列。

Python Merge函数原理及用法解析

3. 去除没用的列并按照条件查询想要的数据. 下列需求是按照服务器名,找出对应的"ソフトウェア名"也就是software名为Trend Micro的软件以及"ソフトウェア?造元"software制造商为Symantec的所有行。

#%%
#因为表中有相同的列名因此自动后缀被加上了_y
#下面代表筛选查询范围,以及指定查询值
df03 = df03.loc[:,["ホスト名","行番号","ソフトウェア区分_y","ソフトウェア名_y","ソフトウェアバ?ジョン_y","ソフトウェア?造元_y"]]
df04 = df03[(df03["ソフトウェア名_y"]=="Trend Micro") | (df03["ソフトウェア?造元_y"]=="Symantec")]

#重新把列名设定换一下然后输出
df04.columns = ["ホスト名","行番号","ソフトウェア区分","ソフトウェア名","ソフトウェアバ?ジョン","ソフトウェア?造元"]
df04

结果:

Python Merge函数原理及用法解析

4. 将数据导出到Excel文件

#%%

with pd.ExcelWriter("./datas/output_mergedatas.xlsx") as writer:
  df04.to_excel(writer,index=False)
  print("Done!!")

结果:当然也可以直接导入到数据表2中去。我这里为了不破坏原表,因此作为新的Excel表导出了。

Python Merge函数原理及用法解析

大家在日常业务中,如果遇到类似场景可以尝试通过merge函数来合并您的数据。还可以结合loc切片以及写下来要发表的pivot,pivot_table透视表来更加丰富的对数据进行清洗。

总体而言用惯了Pandas后会感觉相比Excel中的函数及宏。Pandas会更加的灵活也更加的强大。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python操作ie登陆土豆网的方法
May 09 Python
python 线程的暂停, 恢复, 退出详解及实例
Dec 06 Python
Python3编程实现获取阿里云ECS实例及监控的方法
Aug 18 Python
Python3学习笔记之列表方法示例详解
Oct 06 Python
python实现简易版计算器
Jun 22 Python
Python 变量类型详解
Oct 10 Python
对python周期性定时器的示例详解
Feb 19 Python
简单了解Django ContentType内置组件
Jul 23 Python
python自动化工具之pywinauto实例详解
Aug 26 Python
Python大数据之从网页上爬取数据的方法详解
Nov 16 Python
浅谈tensorflow之内存暴涨问题
Feb 05 Python
Django多层嵌套ManyToMany字段ORM操作详解
May 19 Python
简单了解Python字典copy与赋值的区别
Sep 16 #Python
python 服务器运行代码报错ModuleNotFoundError的解决办法
Sep 16 #Python
pycharm2020.2 配置使用的方法详解
Sep 16 #Python
python Matplotlib模块的使用
Sep 16 #Python
Python类成员继承重写的实现
Sep 16 #Python
PyCharm设置注释字体颜色以及是否倾斜的操作
Sep 16 #Python
Python面向对象多态实现原理及代码实例
Sep 16 #Python
You might like
星际争霸中的对战模式介绍
2020/03/04 星际争霸
PHP中读写文件实现代码
2011/10/20 PHP
php将html转为图片的实现方法
2017/05/19 PHP
使用jQuery的ajax功能实现的RSS Reader 代码
2009/09/03 Javascript
js(JavaScript)实现TAB标签切换效果的简单实例
2014/02/26 Javascript
jquery事件的ready()方法使用详解
2015/11/11 Javascript
jQuery实现图片局部放大镜效果
2016/03/17 Javascript
AngularJS基础 ng-cut 指令介绍及简单示例
2016/08/01 Javascript
jQuery 全选 全部选 反选 实现代码
2016/08/17 Javascript
Vue数据驱动模拟实现1
2017/01/11 Javascript
javascript 中null和undefined区分和比较
2017/04/19 Javascript
angular+webpack2实战例子
2017/05/23 Javascript
JQueryMiniUI按照时间进行查询的实现方法
2017/06/07 jQuery
彻底弄懂 JavaScript 执行机制
2018/10/23 Javascript
vue不操作dom实现图片轮播的示例代码
2019/12/18 Javascript
详解webpack的clean-webpack-plugin插件报错
2020/10/16 Javascript
[03:15]2014DOTA2国际邀请赛 专访国士无双信心满满
2014/07/12 DOTA
[01:14:05]《加油DOTA》第四期
2014/08/25 DOTA
Python3中条件控制、循环与函数的简易教程
2017/11/21 Python
zookeeper python接口实例详解
2018/01/18 Python
Python Requests库基本用法示例
2018/08/20 Python
python Tensor和Array对比分析
2020/01/08 Python
浅谈keras通过model.fit_generator训练模型(节省内存)
2020/06/17 Python
django 模型字段设置默认值代码
2020/07/15 Python
英国厨房与餐具用品为主的设计品牌:Joseph Joseph
2018/04/26 全球购物
英国领先的体验日提供商:Buyagift
2019/04/19 全球购物
Set里的元素是不能重复的,那么用什么方法来区分重复与否呢? 是用==还是equals()? 它们有何区别?
2014/07/27 面试题
厨房管理计划书
2014/04/27 职场文书
建筑工程技术专业求职信
2014/07/16 职场文书
危货运输企业安全生产责任书
2014/07/28 职场文书
学校2015年纠风工作总结
2015/05/15 职场文书
公司新员工欢迎词
2015/09/30 职场文书
Golang全局变量加锁的问题解决
2021/05/08 Golang
新手必备Python开发环境搭建教程
2021/05/28 Python
Python多个MP4合成视频的实现方法
2021/07/16 Python
HTML页面中使两个div并排显示的实现
2022/05/15 HTML / CSS