Python Merge函数原理及用法解析


Posted in Python onSeptember 16, 2020

Merge函数的用法

简单来说Merge函数相当于Excel中的vlookup函数。当我们对2个表进行数据合并的时候需要通过指定两个表中相同的列作为key,然后通过key匹配到其中要合并在一起的values值。

然后对于merge函数在Pandas中分为1vs1, 多(m)vs1,以及多(m)vs多(m)这三种场景。但是平时用的最多的往往是多vs1的这种场景。也就是说2个表中其中一个表作为key的值会出现重复,而另外一个表作为key的值则是唯一。

这种场景也很好理解。例如:我们在生产环境中对服务器进行管理,一台服务器上可能装了各种各样的软件。那么如果是Excel表格来管理的话一个软件就占用一行信息。而服务器名是相同的。所以一个相同的服务器名就会出现多个。

这台服务器上安装了多少个软件,服务器名就会重复几次,也就是最终有几行。那么另外一个表要想读取这台服务器上安装的所有软件,那么服务器名就要作为key,各个软件的信息则是value值。最终被读取写入的那张表的key只能唯一。

我们看下面这个案例,是真实多v1的案例。为了数据安全我只能把截图分享给大家,并把服务器名遮掩希望大家谅解。

数据表1:作为查询的总表,其中服务器名这列就是B列中的信息会出现重复

Python Merge函数原理及用法解析

数据表2:下表为按照表1的key就是hostname来匹配,匹配到后按照表2的列名来读取信息写入到表2.这里同上因为服务器名敏感,所以也用马赛克挡住了,忘谅解。

Python Merge函数原理及用法解析

代码演示:

1. 读取表1,表2中的内容,作为DataFrame赋值给变量

#%%

import pandas as pd

#读取表1
df01 = pd.read_excel("./datas/new_all_datas.xlsx",
           header=5)
df01.head()

#%%

#读取表2
df02 = pd.read_excel("./datas/new_software_InputSheet.xlsx")
df02

#%%

2. 通过merge函数合并两个DataFrame。on代表指明拿什么作为key来进行匹配。how这里分为left,right,inner,outer等方式。这里left代表按照表1为主表进行合并。

#%%
#ホスト名作为key来匹配两个表,相当于vlookup函数
#how=left代表以left左表为主,这里则代表表二为左表
df03 = pd.merge(df02,df01,on="ホスト名",how="left")
df03

结果:合并结果如下。但是因为表1,表2中出现重复元素的列名,因此合并后Pandas会按照后缀,把相同列名按照_x,_y的方式生成多列。

Python Merge函数原理及用法解析

3. 去除没用的列并按照条件查询想要的数据. 下列需求是按照服务器名,找出对应的"ソフトウェア名"也就是software名为Trend Micro的软件以及"ソフトウェア?造元"software制造商为Symantec的所有行。

#%%
#因为表中有相同的列名因此自动后缀被加上了_y
#下面代表筛选查询范围,以及指定查询值
df03 = df03.loc[:,["ホスト名","行番号","ソフトウェア区分_y","ソフトウェア名_y","ソフトウェアバ?ジョン_y","ソフトウェア?造元_y"]]
df04 = df03[(df03["ソフトウェア名_y"]=="Trend Micro") | (df03["ソフトウェア?造元_y"]=="Symantec")]

#重新把列名设定换一下然后输出
df04.columns = ["ホスト名","行番号","ソフトウェア区分","ソフトウェア名","ソフトウェアバ?ジョン","ソフトウェア?造元"]
df04

结果:

Python Merge函数原理及用法解析

4. 将数据导出到Excel文件

#%%

with pd.ExcelWriter("./datas/output_mergedatas.xlsx") as writer:
  df04.to_excel(writer,index=False)
  print("Done!!")

结果:当然也可以直接导入到数据表2中去。我这里为了不破坏原表,因此作为新的Excel表导出了。

Python Merge函数原理及用法解析

大家在日常业务中,如果遇到类似场景可以尝试通过merge函数来合并您的数据。还可以结合loc切片以及写下来要发表的pivot,pivot_table透视表来更加丰富的对数据进行清洗。

总体而言用惯了Pandas后会感觉相比Excel中的函数及宏。Pandas会更加的灵活也更加的强大。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用在线API查询IP对应的地理位置信息实例
Jun 01 Python
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
Python随机生成一个6位的验证码代码分享
Mar 24 Python
详解Python编程中包的概念与管理
Oct 16 Python
解决phantomjs截图失败,phantom.exit位置的问题
May 17 Python
python smtplib模块自动收发邮件功能(二)
May 22 Python
利用Python实现在同一网络中的本地文件共享方法
Jun 04 Python
Laravel框架表单验证格式化输出的方法
Sep 25 Python
pytorch 图像预处理之减去均值,除以方差的实例
Jan 02 Python
Python转换itertools.chain对象为数组的方法
Feb 07 Python
Python Sqlalchemy如何实现select for update
Oct 12 Python
Python 全局空间和局部空间
Apr 06 Python
简单了解Python字典copy与赋值的区别
Sep 16 #Python
python 服务器运行代码报错ModuleNotFoundError的解决办法
Sep 16 #Python
pycharm2020.2 配置使用的方法详解
Sep 16 #Python
python Matplotlib模块的使用
Sep 16 #Python
Python类成员继承重写的实现
Sep 16 #Python
PyCharm设置注释字体颜色以及是否倾斜的操作
Sep 16 #Python
Python面向对象多态实现原理及代码实例
Sep 16 #Python
You might like
php ImageMagick windows下安装教程
2015/01/26 PHP
php实现对两个数组进行减法操作的方法
2015/04/17 PHP
yii实现model添加默认值的方法(2种方法)
2016/01/06 PHP
PHP简单判断手机设备的方法
2016/08/23 PHP
php-fpm.conf配置文件中文说明详解及重要参数说明
2018/10/10 PHP
PHP如何根据文件头检测文件类型实例代码
2018/10/14 PHP
PHP大文件切割上传功能实例分析
2019/07/01 PHP
jQuery 瀑布流 浮动布局(一)(延迟AJAX加载图片)
2012/05/23 Javascript
JS实现遮罩层效果的简单实例
2013/11/12 Javascript
如何编写高质量JS代码(续)
2015/02/25 Javascript
纯js代码制作的网页时钟特效【附实例】
2016/03/30 Javascript
JS DOMReady事件的六种实现方法总结
2016/11/23 Javascript
Vue配置marked链接添加target="_blank"的方法
2019/07/19 Javascript
Javascript Symbol原理及使用方法解析
2020/10/22 Javascript
解决ant Design中Select设置initialValue时的大坑
2020/10/29 Javascript
nginx配置域名后的二级目录访问不同项目的配置操作
2020/11/06 Javascript
[58:42]DOTA2上海特级锦标赛C组败者赛 Newbee VS Archon第一局
2016/02/27 DOTA
Python使用ftplib实现简易FTP客户端的方法
2015/06/03 Python
两个使用Python脚本操作文件的小示例分享
2015/08/27 Python
python Django批量导入不重复数据
2016/03/25 Python
python字符串string的内置方法实例详解
2018/05/14 Python
对python抓取需要登录网站数据的方法详解
2018/05/21 Python
django传值给模板, 再用JS接收并进行操作的实例
2018/05/28 Python
Python使用logging模块实现打印log到指定文件的方法
2018/09/05 Python
python使用numpy读取、保存txt数据的实例
2018/10/14 Python
Python3中urlencode和urldecode的用法详解
2019/07/23 Python
推荐值得学习的12款python-web开发框架
2020/08/10 Python
Python模拟登录requests.Session应用详解
2020/11/17 Python
详解如何用canvas画一个微笑的表情
2019/03/14 HTML / CSS
苹果Mac升级:MacSales.com
2017/11/20 全球购物
英语专业个人求职自荐信
2013/09/21 职场文书
继电保护工岗位职责
2014/01/05 职场文书
2014元旦晚会策划方案
2014/02/19 职场文书
材料员岗位职责
2015/02/10 职场文书
毕业生党员个人总结
2015/02/14 职场文书
redis调用二维码时的不断刷新排查分析
2022/04/01 Redis