详解PANDAS 数据合并与重塑(join/merge篇)


Posted in Python onJuly 09, 2019

在上一篇文章中,我整理了pandas在数据合并和重塑中常用到的concat方法的使用说明。在这里,将接着介绍pandas中也常常用到的join 和merge方法

merge

pandas的merge方法提供了一种类似于SQL的内存链接操作,官网文档提到它的性能会比其他开源语言的数据操作(例如R)要高效。

和SQL语句的对比可以看这里

merge的参数

on:列名,join用来对齐的那一列的名字,用到这个参数的时候一定要保证左表和右表用来对齐的那一列都有相同的列名。

left_on:左表对齐的列,可以是列名,也可以是和dataframe同样长度的arrays。

right_on:右表对齐的列,可以是列名,也可以是和dataframe同样长度的arrays。

left_index/ right_index: 如果是True的haunted以index作为对齐的key

how:数据融合的方法。

sort:根据dataframe合并的keys按字典顺序排序,默认是,如果置false可以提高表现。

merge的默认合并方法:
merge用于表内部基于 index-on-index 和 index-on-column(s) 的合并,但默认是基于index来合并。

1.1 复合key的合并方法

使用merge的时候可以选择多个key作为复合可以来对齐合并。

1.1.1 通过on指定数据合并对齐的列

In [41]: left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
  ....:           'key2': ['K0', 'K1', 'K0', 'K1'],
  ....:           'A': ['A0', 'A1', 'A2', 'A3'],
  ....:           'B': ['B0', 'B1', 'B2', 'B3']})
  ....: 

In [42]: right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
  ....:            'key2': ['K0', 'K0', 'K0', 'K0'],
  ....:            'C': ['C0', 'C1', 'C2', 'C3'],
  ....:            'D': ['D0', 'D1', 'D2', 'D3']})
  ....: 

In [43]: result = pd.merge(left, right, on=['key1', 'key2'])

详解PANDAS 数据合并与重塑(join/merge篇) 

没有指定how的话默认使用inner方法。

how的方法有:

left

只保留左表的所有数据

In [44]: result = pd.merge(left, right, how='left', on=['key1', 'key2'])

详解PANDAS 数据合并与重塑(join/merge篇)

right

只保留右表的所有数据

In [45]: result = pd.merge(left, right, how='right', on=['key1', 'key2'])

详解PANDAS 数据合并与重塑(join/merge篇)

outer

保留两个表的所有信息

In [46]: result = pd.merge(left, right, how='outer', on=['key1', 'key2'])

详解PANDAS 数据合并与重塑(join/merge篇)

inner

只保留两个表中公共部分的信息

In [47]: result = pd.merge(left, right, how='inner', on=['key1', 'key2'])

详解PANDAS 数据合并与重塑(join/merge篇)

1.2 indicator

v0.17.0 版本的pandas开始还支持一个indicator的参数,如果置True的时候,输出结果会增加一列 ' _merge'。_merge列可以取三个值

  • left_only 只在左表中
  • right_only 只在右表中
  • both 两个表中都有

1.3 join方法

dataframe内置的join方法是一种快速合并的方法。它默认以index作为对齐的列。

1.3.1 how 参数

join中的how参数和merge中的how参数一样,用来指定表合并保留数据的规则。

具体可见前面的 how 说明。

1.3.2 on 参数

在实际应用中如果右表的索引值正是左表的某一列的值,这时可以通过将 右表的索引 和 左表的列 对齐合并这样灵活的方式进行合并。

ex 1

In [59]: left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
  ....:           'B': ['B0', 'B1', 'B2', 'B3'],
  ....:           'key': ['K0', 'K1', 'K0', 'K1']})
  ....: 

In [60]: right = pd.DataFrame({'C': ['C0', 'C1'],
  ....:            'D': ['D0', 'D1']},
  ....:            index=['K0', 'K1'])
  ....: 

In [61]: result = left.join(right, on='key')

详解PANDAS 数据合并与重塑(join/merge篇)

1.3.3 suffix后缀参数

如果和表合并的过程中遇到有一列两个表都同名,但是值不同,合并的时候又都想保留下来,就可以用suffixes给每个表的重复列名增加后缀。

In [79]: result = pd.merge(left, right, on='k', suffixes=['_l', '_r'])

详解PANDAS 数据合并与重塑(join/merge篇)

* 另外还有lsuffix 和 rsuffix分别指定左表的后缀和右表的后缀。

1.4 组合多个dataframe

一次组合多个dataframe的时候可以传入元素为dataframe的列表或者tuple。一次join多个,一次解决多次烦恼~

In [83]: right2 = pd.DataFrame({'v': [7, 8, 9]}, index=['K1', 'K1', 'K2'])

In [84]: result = left.join([right, right2])

详解PANDAS 数据合并与重塑(join/merge篇)

1.5 更新表的nan值

1.5.1 combine_first

如果一个表的nan值,在另一个表相同位置(相同索引和相同列)可以找到,则可以通过combine_first来更新数据

1.5.2 update

如果要用一张表中的数据来更新另一张表的数据则可以用update来实现

1.5.3 combine_first 和 update 的区别

使用combine_first会只更新左表的nan值。而update则会更新左表的所有能在右表中找到的值(两表位置相对应)。

示例代码参考来源——官网

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Django发送html邮件的方法
May 26 Python
python使用PyCharm进行远程开发和调试
Nov 02 Python
Python判断一个文件夹内哪些文件是图片的实例
Dec 07 Python
python for 循环获取index索引的方法
Feb 01 Python
Python3转换html到pdf的不同解决方案
Mar 11 Python
linux下安装python3和对应的pip环境教程详解
Jul 01 Python
python用for循环求和的方法总结
Jul 08 Python
使用Pyhton集合set()实现成果查漏的例子
Nov 24 Python
Python二次规划和线性规划使用实例
Dec 09 Python
Python之Matplotlib文字与注释的使用方法
Jun 18 Python
使用 prometheus python 库编写自定义指标的方法(完整代码)
Jun 29 Python
pycharm 添加解释器的方法步骤
Aug 31 Python
python 返回一个列表中第二大的数方法
Jul 09 #Python
Mac在python3环境下安装virtualwrapper遇到的问题及解决方法
Jul 09 #Python
Python3中的最大整数和最大浮点数实例
Jul 09 #Python
详解pandas数据合并与重塑(pd.concat篇)
Jul 09 #Python
python自定义函数实现最大值的输出方法
Jul 09 #Python
mac系统下Redis安装和使用步骤详解
Jul 09 #Python
使用python将多个excel文件合并到同一个文件的方法
Jul 09 #Python
You might like
地球防卫队:陪着奥特曼打小怪兽的人类力量 那些经典队服
2020/03/08 日漫
php垃圾代码优化操作代码
2010/08/05 PHP
php与java通过socket通信的实现代码
2013/10/21 PHP
php设置session值和cookies的学习示例
2014/03/21 PHP
ThinkPHP页面跳转success与error方法概述
2014/06/25 PHP
PHP中的traits实现代码复用使用实例
2015/05/13 PHP
js 自定义的联动下拉框
2010/02/07 Javascript
jQuery中delegate和on的用法与区别详细解析
2014/01/26 Javascript
nodejs批量修改文件编码格式
2015/01/22 NodeJs
jQuery使用append在html元素后同时添加多项内容的方法
2015/03/26 Javascript
avalonjs实现仿微博的图片拖动特效
2015/05/06 Javascript
无刷新上传文件并返回自定义值
2015/06/11 Javascript
javascript实现数组中的内容随机输出
2015/08/11 Javascript
JQuery操作textarea,input,select,checkbox方法
2015/09/02 Javascript
js父页面中使用子页面的方法
2016/01/09 Javascript
详解AngularJS1.6版本中ui-router路由中/#!/的解决方法
2017/05/22 Javascript
ES6中Array.copyWithin()函数的用法实例详解
2017/09/16 Javascript
微信小程序checkbox组件使用详解
2018/01/31 Javascript
jQuery基于Ajax实现读取XML数据功能示例
2018/05/31 jQuery
详解vue-cli3 中跨域解决方案
2019/04/10 Javascript
vue的列表交错过渡实现代码示例
2019/05/05 Javascript
快速搭建Node.js(Express)用户注册、登录以及授权的方法
2019/05/09 Javascript
Python使用win32com实现的模拟浏览器功能示例
2017/07/13 Python
使用python和pygame绘制繁花曲线的方法
2018/02/24 Python
python3+PyQt5重新实现自定义数据拖放处理
2018/04/19 Python
django 修改server端口号的方法
2018/05/14 Python
python的mysql数据库建立表与插入数据操作示例
2019/09/30 Python
赫里福德的一家乡村零售商店:Philip Morris & Son
2017/06/25 全球购物
韩都衣舍天猫官方旗舰店:天猫女装销售总冠军
2017/10/10 全球购物
机械工程系毕业生求职信
2013/09/27 职场文书
优秀社区干部事迹材料
2014/02/03 职场文书
办公室副主任职责范本
2014/03/08 职场文书
荷叶母亲教学反思
2014/04/30 职场文书
2015年度物流工作总结
2015/04/30 职场文书
《百分数的认识》教学反思
2016/02/19 职场文书
HTML5中的DOCUMENT.VISIBILITYSTATE属性详解
2023/05/07 HTML / CSS