Python Merge函数原理及用法解析


Posted in Python onSeptember 16, 2020

Merge函数的用法

简单来说Merge函数相当于Excel中的vlookup函数。当我们对2个表进行数据合并的时候需要通过指定两个表中相同的列作为key,然后通过key匹配到其中要合并在一起的values值。

然后对于merge函数在Pandas中分为1vs1, 多(m)vs1,以及多(m)vs多(m)这三种场景。但是平时用的最多的往往是多vs1的这种场景。也就是说2个表中其中一个表作为key的值会出现重复,而另外一个表作为key的值则是唯一。

这种场景也很好理解。例如:我们在生产环境中对服务器进行管理,一台服务器上可能装了各种各样的软件。那么如果是Excel表格来管理的话一个软件就占用一行信息。而服务器名是相同的。所以一个相同的服务器名就会出现多个。

这台服务器上安装了多少个软件,服务器名就会重复几次,也就是最终有几行。那么另外一个表要想读取这台服务器上安装的所有软件,那么服务器名就要作为key,各个软件的信息则是value值。最终被读取写入的那张表的key只能唯一。

我们看下面这个案例,是真实多v1的案例。为了数据安全我只能把截图分享给大家,并把服务器名遮掩希望大家谅解。

数据表1:作为查询的总表,其中服务器名这列就是B列中的信息会出现重复

Python Merge函数原理及用法解析

数据表2:下表为按照表1的key就是hostname来匹配,匹配到后按照表2的列名来读取信息写入到表2.这里同上因为服务器名敏感,所以也用马赛克挡住了,忘谅解。

Python Merge函数原理及用法解析

代码演示:

1. 读取表1,表2中的内容,作为DataFrame赋值给变量

#%%

import pandas as pd

#读取表1
df01 = pd.read_excel("./datas/new_all_datas.xlsx",
           header=5)
df01.head()

#%%

#读取表2
df02 = pd.read_excel("./datas/new_software_InputSheet.xlsx")
df02

#%%

2. 通过merge函数合并两个DataFrame。on代表指明拿什么作为key来进行匹配。how这里分为left,right,inner,outer等方式。这里left代表按照表1为主表进行合并。

#%%
#ホスト名作为key来匹配两个表,相当于vlookup函数
#how=left代表以left左表为主,这里则代表表二为左表
df03 = pd.merge(df02,df01,on="ホスト名",how="left")
df03

结果:合并结果如下。但是因为表1,表2中出现重复元素的列名,因此合并后Pandas会按照后缀,把相同列名按照_x,_y的方式生成多列。

Python Merge函数原理及用法解析

3. 去除没用的列并按照条件查询想要的数据. 下列需求是按照服务器名,找出对应的"ソフトウェア名"也就是software名为Trend Micro的软件以及"ソフトウェア?造元"software制造商为Symantec的所有行。

#%%
#因为表中有相同的列名因此自动后缀被加上了_y
#下面代表筛选查询范围,以及指定查询值
df03 = df03.loc[:,["ホスト名","行番号","ソフトウェア区分_y","ソフトウェア名_y","ソフトウェアバ?ジョン_y","ソフトウェア?造元_y"]]
df04 = df03[(df03["ソフトウェア名_y"]=="Trend Micro") | (df03["ソフトウェア?造元_y"]=="Symantec")]

#重新把列名设定换一下然后输出
df04.columns = ["ホスト名","行番号","ソフトウェア区分","ソフトウェア名","ソフトウェアバ?ジョン","ソフトウェア?造元"]
df04

结果:

Python Merge函数原理及用法解析

4. 将数据导出到Excel文件

#%%

with pd.ExcelWriter("./datas/output_mergedatas.xlsx") as writer:
  df04.to_excel(writer,index=False)
  print("Done!!")

结果:当然也可以直接导入到数据表2中去。我这里为了不破坏原表,因此作为新的Excel表导出了。

Python Merge函数原理及用法解析

大家在日常业务中,如果遇到类似场景可以尝试通过merge函数来合并您的数据。还可以结合loc切片以及写下来要发表的pivot,pivot_table透视表来更加丰富的对数据进行清洗。

总体而言用惯了Pandas后会感觉相比Excel中的函数及宏。Pandas会更加的灵活也更加的强大。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现问号表达式(?)的方法
Nov 27 Python
Python 文件读写操作实例详解
Mar 12 Python
Python用GET方法上传文件
Mar 10 Python
python中的装饰器详解
Apr 13 Python
django 连接数据库 sqlite的例子
Aug 14 Python
Python通过VGG16模型实现图像风格转换操作详解
Jan 16 Python
keras中的backend.clip用法
May 22 Python
Python Scrapy多页数据爬取实现过程解析
Jun 12 Python
python3爬虫中异步协程的用法
Jul 10 Python
python安装sklearn模块的方法详解
Nov 28 Python
OpenCV+python实现膨胀和腐蚀的示例
Dec 21 Python
Pycharm连接远程服务器并远程调试的全过程
Jun 24 Python
简单了解Python字典copy与赋值的区别
Sep 16 #Python
python 服务器运行代码报错ModuleNotFoundError的解决办法
Sep 16 #Python
pycharm2020.2 配置使用的方法详解
Sep 16 #Python
python Matplotlib模块的使用
Sep 16 #Python
Python类成员继承重写的实现
Sep 16 #Python
PyCharm设置注释字体颜色以及是否倾斜的操作
Sep 16 #Python
Python面向对象多态实现原理及代码实例
Sep 16 #Python
You might like
无数据库的详细域名查询程序PHP版(1)
2006/10/09 PHP
深入解析php模板技术原理【一】
2008/01/10 PHP
php数组函数序列之array_splice() - 在数组任意位置插入元素
2011/11/07 PHP
Yii 2.0在Grid中格式化时间方法示例
2017/06/06 PHP
php实现有序数组旋转后寻找最小值方法
2018/09/27 PHP
ThinkPHP中获取指定日期后工作日的具体日期方法
2018/10/14 PHP
PHP数组遍历的几种常见方式总结
2019/02/15 PHP
用js实现计算代码行数的简单方法附代码
2007/08/13 Javascript
jQuery学习笔记之控制页面实现代码
2012/02/27 Javascript
微信小程序 欢迎页面的制作(源码下载)
2017/01/09 Javascript
JavaScript实现隐藏省略文字效果的方法
2017/04/27 Javascript
webpack进阶——缓存与独立打包的用法
2017/08/02 Javascript
微信小程序身份证验证方法实现详解
2019/06/28 Javascript
JavaScript接口实现方法实例分析
2020/05/16 Javascript
js+canvas实现转盘效果(两个版本)
2020/09/13 Javascript
Js跳出两级循环方法代码实例
2020/09/22 Javascript
Handtrack.js库实现实时监测手部运动(推荐)
2021/02/08 Javascript
[00:52]DOTA2国际邀请赛
2020/02/21 DOTA
深入了解Python数据类型之列表
2016/06/24 Python
python实现读取大文件并逐行写入另外一个文件
2018/04/19 Python
详解Python中的分组函数groupby和itertools)
2018/07/11 Python
使用python将图片按标签分入不同文件夹的方法
2018/12/08 Python
PyQt 实现使窗口中的元素跟随窗口大小的变化而变化
2019/06/18 Python
Django使用 Bootstrap 样式修改书籍列表过程解析
2019/08/09 Python
利用 PyCharm 实现本地代码和远端的实时同步功能
2020/03/23 Python
Python使用requests模块爬取百度翻译
2020/08/25 Python
Python wordcloud库安装方法总结
2020/12/31 Python
猎人靴英国官网:Hunter Boots
2017/02/02 全球购物
美国摩托车头盔、零件、齿轮及配件商店:Cycle Gear
2019/06/12 全球购物
SQL Server提供的3种恢复模型都是什么? 有什么区别?
2012/05/13 面试题
工作会议欢迎词
2014/01/16 职场文书
体育活动总结范文
2014/05/04 职场文书
论群众路线学习笔记
2014/11/06 职场文书
拾金不昧感谢信
2015/01/21 职场文书
如何利用 CSS Overview 面板重构优化你的网站
2021/10/24 HTML / CSS
Python面向对象编程之类的概念
2021/11/01 Python