首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

pandas dataframe的合并实现（append, merge, concat）

Posted in Python onJune 24, 2019

创建2个DataFrame：

>>> df1 = pd.DataFrame(np.ones((4, 4))*1, columns=list('DCBA'), index=list('4321'))
>>> df2 = pd.DataFrame(np.ones((4, 4))*2, columns=list('FEDC'), index=list('6543'))
>>> df3 = pd.DataFrame(np.ones((4, 4))*3, columns=list('FEBA'), index=list('6521'))
>>> df1
  D  C  B  A
4 1.0 1.0 1.0 1.0
3 1.0 1.0 1.0 1.0
2 1.0 1.0 1.0 1.0
1 1.0 1.0 1.0 1.0
>>> df2
  F  E  D  C
6 2.0 2.0 2.0 2.0
5 2.0 2.0 2.0 2.0
4 2.0 2.0 2.0 2.0
3 2.0 2.0 2.0 2.0
>>> df3
  F  E  B  A
6 3.0 3.0 3.0 3.0
5 3.0 3.0 3.0 3.0
2 3.0 3.0 3.0 3.0
1 3.0 3.0 3.0 3.0

1，concat

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
     keys=None, levels=None, names=None, verify_integrity=False,
     copy=True)

 示例：

>>> pd.concat([df1, df2])
  A  B  C  D  E  F
4 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
6 NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN 2.0 2.0 2.0 2.0
4 NaN NaN 2.0 2.0 2.0 2.0
3 NaN NaN 2.0 2.0 2.0 2.0

1.1，axis

默认值：axis=0
axis=0：竖方向（index）合并，合并方向index作列表相加，非合并方向columns取并集
axis=1：横方向（columns）合并，合并方向columns作列表相加，非合并方向index取并集
axis=0：

>>> pd.concat([df1, df2], axis=0)
  A  B  C  D  E  F
4 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
6 NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN 2.0 2.0 2.0 2.0
4 NaN NaN 2.0 2.0 2.0 2.0
3 NaN NaN 2.0 2.0 2.0 2.0　

axis=1：

>>> pd.concat([df1, df2], axis=1)
  D  C  B  A  F  E  D  C
1 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
5 NaN NaN NaN NaN 2.0 2.0 2.0 2.0
6 NaN NaN NaN NaN 2.0 2.0 2.0 2.0

备注：原df中，取并集的行/列名称不能有重复项，即axis=0时columns不能有重复项，axis=1时index不能有重复项：

>>> df1.columns = list('DDBA')
>>> pd.concat([df1, df2], axis=0)
ValueError: Plan shapes are not aligned

1.2，join

默认值：join=‘outer'
非合并方向的行/列名称：取交集（inner），取并集（outer）。
axis=0时join='inner'，columns取交集：

>>> pd.concat([df1, df2], axis=0, join='inner')
  D  C
4 1.0 1.0
3 1.0 1.0
2 1.0 1.0
1 1.0 1.0
6 2.0 2.0
5 2.0 2.0
4 2.0 2.0
3 2.0 2.0

axis=1时join='inner'，index取交集：

>>> pd.concat([df1, df2], axis=1, join='inner')
  D  C  B  A  F  E  D  C
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0

1.3，join_axes

默认值：join_axes=None，取并集
合并后，可以设置非合并方向的行/列名称，使用某个df的行/列名称
axis=0时join_axes=[df1.columns]，合并后columns使用df1的：

>>> pd.concat([df1, df2], axis=0, join_axes=[df1.columns])
  D  C  B  A
4 1.0 1.0 1.0 1.0
3 1.0 1.0 1.0 1.0
2 1.0 1.0 1.0 1.0
1 1.0 1.0 1.0 1.0
6 2.0 2.0 NaN NaN
5 2.0 2.0 NaN NaN
4 2.0 2.0 NaN NaN
3 2.0 2.0 NaN NaN

axis=1时axes=[df1.index]，合并后index使用df2的：

pd.concat([df1, df2], axis=1, join_axes=[df1.index])
  D  C  B  A  F  E  D  C
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
2 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN NaN NaN

同时设置join和join_axes的，以join_axes为准：

>>> pd.concat([df1, df2], axis=0, join='inner', join_axes=[df1.columns])
  D  C  B  A
4 1.0 1.0 1.0 1.0
3 1.0 1.0 1.0 1.0
2 1.0 1.0 1.0 1.0
1 1.0 1.0 1.0 1.0
6 2.0 2.0 NaN NaN
5 2.0 2.0 NaN NaN
4 2.0 2.0 NaN NaN
3 2.0 2.0 NaN NaN

1.4，ignore_index

默认值：ignore_index=False

合并方向是否忽略原行/列名称，而采用系统默认的索引，即从0开始的int。

axis=0时ignore_index=True，index采用系统默认索引：

>>> pd.concat([df1, df2], axis=0, ignore_index=True)
  A  B  C  D  E  F
0 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
4 NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN 2.0 2.0 2.0 2.0
6 NaN NaN 2.0 2.0 2.0 2.0
7 NaN NaN 2.0 2.0 2.0 2.0

axis=1时ignore_index=True，columns采用系统默认索引：

>>> pd.concat([df1, df2], axis=1, ignore_index=True)
  0  1  2  3  4  5  6  7
1 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
5 NaN NaN NaN NaN 2.0 2.0 2.0 2.0
6 NaN NaN NaN NaN 2.0 2.0 2.0 2.0

1.5，keys

默认值：keys=None

可以加一层标签，标识行/列名称属于原来哪个df。

axis=0时设置keys：

>>> pd.concat([df1, df2], axis=0, keys=['x', 'y'])
   A  B  C  D  E  F
x 4 1.0 1.0 1.0 1.0 NaN NaN
 3 1.0 1.0 1.0 1.0 NaN NaN
 2 1.0 1.0 1.0 1.0 NaN NaN
 1 1.0 1.0 1.0 1.0 NaN NaN
y 6 NaN NaN 2.0 2.0 2.0 2.0
 5 NaN NaN 2.0 2.0 2.0 2.0
 4 NaN NaN 2.0 2.0 2.0 2.0
 3 NaN NaN 2.0 2.0 2.0 2.0

axis=1时设置keys：

>>> pd.concat([df1, df2], axis=1, keys=['x', 'y'])
   x          y        
   D  C  B  A  F  E  D  C
1 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
5 NaN NaN NaN NaN 2.0 2.0 2.0 2.0
6 NaN NaN NaN NaN 2.0 2.0 2.0 2.0　

也可以传字典取代keys：

>>> pd.concat({'x': df1, 'y': df2}, axis=0)
   A  B  C  D  E  F
x 4 1.0 1.0 1.0 1.0 NaN NaN
 3 1.0 1.0 1.0 1.0 NaN NaN
 2 1.0 1.0 1.0 1.0 NaN NaN
 1 1.0 1.0 1.0 1.0 NaN NaN
y 6 NaN NaN 2.0 2.0 2.0 2.0
 5 NaN NaN 2.0 2.0 2.0 2.0
 4 NaN NaN 2.0 2.0 2.0 2.0
 3 NaN NaN 2.0 2.0 2.0 2.0

1.6，levels

默认值：levels=None

明确行/列名称取值范围：

>>> pd.concat([df1, df2], axis=0, keys=['x', 'y'], levels=[['x', 'y', 'z', 'w']])
>>> df.index.levels
[['x', 'y', 'z', 'w'], ['1', '2', '3', '4', '5', '6']]

1.7，sort

默认值：sort=True，提示新版本会设置默认为False，并取消该参数

但0.22.0中虽然取消了，还是设置为True

非合并方向的行/列名称是否排序。例如1.1中默认axis=0时columns进行了排序，axis=1时index进行了排序。

axis=0时sort=False，columns不作排序：

>>> pd.concat([df1, df2], axis=0, sort=False)
  D  C  B  A  F  E
4 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
6 2.0 2.0 NaN NaN 2.0 2.0
5 2.0 2.0 NaN NaN 2.0 2.0
4 2.0 2.0 NaN NaN 2.0 2.0
3 2.0 2.0 NaN NaN 2.0 2.0

axis=1时sort=False，index不作排序：

>>> pd.concat([df1, df2], axis=1, sort=False)
  D  C  B  A  F  E  D  C
4 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
3 1.0 1.0 1.0 1.0 2.0 2.0 2.0 2.0
2 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN NaN NaN
6 NaN NaN NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN NaN NaN 2.0 2.0 2.0 2.0

1.8，concat多个DataFrame

>>> pd.concat([df1, df2, df3], sort=False, join_axes=[df1.columns])
  D  C  B  A
4 1.0 1.0 1.0 1.0
3 1.0 1.0 1.0 1.0
2 1.0 1.0 1.0 1.0
1 1.0 1.0 1.0 1.0
6 2.0 2.0 NaN NaN
5 2.0 2.0 NaN NaN
4 2.0 2.0 NaN NaN
3 2.0 2.0 NaN NaN
6 NaN NaN 3.0 3.0
5 NaN NaN 3.0 3.0
2 NaN NaN 3.0 3.0
1 NaN NaN 3.0 3.0

2，append

append(self, other, ignore_index=False, verify_integrity=False)

竖方向合并df，没有axis属性

不会就地修改，而是会创建副本

示例：

>>> df1.append(df2)  # 相当于pd.concat([df1, df2])
  A  B  C  D  E  F
4 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
6 NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN 2.0 2.0 2.0 2.0
4 NaN NaN 2.0 2.0 2.0 2.0
3 NaN NaN 2.0 2.0 2.0 2.0

2.1，ignore_index属性

>>> df1.append(df2, ignore_index=True)
  A  B  C  D  E  F
0 1.0 1.0 1.0 1.0 NaN NaN
1 1.0 1.0 1.0 1.0 NaN NaN
2 1.0 1.0 1.0 1.0 NaN NaN
3 1.0 1.0 1.0 1.0 NaN NaN
4 NaN NaN 2.0 2.0 2.0 2.0
5 NaN NaN 2.0 2.0 2.0 2.0
6 NaN NaN 2.0 2.0 2.0 2.0
7 NaN NaN 2.0 2.0 2.0 2.0

2.2，append多个DataFrame

和concat相同，append也支持append多个DataFrame

>>> df1.append([df2, df3], ignore_index=True)
   A  B  C  D  E  F
0  1.0 1.0 1.0 1.0 NaN NaN
1  1.0 1.0 1.0 1.0 NaN NaN
2  1.0 1.0 1.0 1.0 NaN NaN
3  1.0 1.0 1.0 1.0 NaN NaN
4  NaN NaN 2.0 2.0 2.0 2.0
5  NaN NaN 2.0 2.0 2.0 2.0
6  NaN NaN 2.0 2.0 2.0 2.0
7  NaN NaN 2.0 2.0 2.0 2.0
8  3.0 3.0 NaN NaN 3.0 3.0
9  3.0 3.0 NaN NaN 3.0 3.0
10 3.0 3.0 NaN NaN 3.0 3.0
11 3.0 3.0 NaN NaN 3.0 3.0

3，merge

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
     left_index=False, right_index=False, sort=True,
     suffixes=('_x', '_y'), copy=True, indicator=False,
     validate=None)

示例：

>>> left = pd.DataFrame({'A': ['a0', 'a1', 'a2', 'a3'],
             'B': ['b0', 'b1', 'b2', 'b3'],
             'k1': ['x', 'x', 'y', 'y']})
>>> right = pd.DataFrame({'C': ['c1', 'c2', 'c3', 'c4'],
             'D': ['d1', 'd2', 'd3', 'd4'],
             'k1': ['y', 'y', 'z', 'z']})
>>> left
  A  B k1
0 a0 b0 x
1 a1 b1 x
2 a2 b2 y
3 a3 b3 y
>>> right
  C  D k1
0 c1 d1 y
1 c2 d2 y
2 c3 d3 z
3 c4 d4 z

对df1和df2进行merge：

>>> pd.merge(left, right)
  A  B k1 C  D
0 a2 b2 y c1 d1
1 a2 b2 y c2 d2
2 a3 b3 y c1 d1
3 a3 b3 y c2 d2

可以看到只有df1和df2的key1=y的行保留了下来，即默认合并后只保留有共同列项并且值相等行（即交集）。

本例中left和right的k1=y分别有2个，最终构成了2*2=4行。

如果没有共同列会报错：

>>> del left['k1']
>>> pd.merge(left, right)
pandas.errors.MergeError: No common columns to perform merge on

3.1，on属性

新增一个共同列，但没有相等的值，发现合并返回是空列表，因为默认只保留所有共同列都相等的行：

>>> left['k2'] = list('1234')
>>> right['k2'] = list('5678')
>>> pd.merge(left, right)
Empty DataFrame
Columns: [B, A, k1, k2, F, E]
Index: []

可以指定on，设定合并基准列，就可以根据k1进行合并，并且left和right共同列k2会同时变换名称后保留下来：

>>> pd.merge(left, right, on='k1')
  A  B k1 k2_x  C  D  k2_y
0 a2 b2 y   3  c1 d1  5
1 a2 b2 y   3  c2 d2  6
2 a3 b3 y   4  c1 d1  5
3 a3 b3 y   4  c2 d2  6

默认值：on的默认值是所有共同列，本例为：on=['k1', 'k2']

3.2，how属性

how取值范围：'inner', 'outer', 'left', 'right'

默认值：how='inner'

‘inner'：共同列的值必须完全相等：

>>> pd.merge(left, right, on='k1', how='inner')
  A  B k1 k2_x  C  D  k2_y
0 a2 b2 y   3  c1 d1  5
1 a2 b2 y   3  c2 d2  6
2 a3 b3 y   4  c1 d1  5
3 a3 b3 y   4  c2 d2  6

‘outer'：共同列的值都会保留，left或right在共同列上的差集，会对它们的缺失列项的值赋上NaN：

>>> pd.merge(left, right, on='k1', how='outer')
  A  B k1  k2_x C  D k2_y
0  a0  b0 x  1 NaN NaN NaN
1  a1  b1 x  2 NaN NaN NaN
2  a2  b2 y  3  c1  d1  5
3  a2  b2 y  3  c2  d2  6
4  a3  b3 y  4  c1  d1  5
5  a3  b3 y  4  c2  d2  6
6 NaN NaN z NaN  c3  d3  7
7 NaN NaN z NaN  c4  d4  8

‘left'：根据左边的DataFrame确定共同列的保留值，右边缺失列项的值赋上NaN：

pd.merge(left, right, on='k1', how='left')
  A  B k1 k2_x C  D  k2_y
0 a0 b0 x  1 NaN NaN NaN
1 a1 b1 x  2 NaN NaN NaN
2 a2 b2 y  3  c1  d1  5
3 a2 b2 y  3  c2  d2  6
4 a3 b3 y  4  c1  d1  5
5 a3 b3 y  4  c2  d2  6

‘right'：根据右边的DataFrame确定共同列的保留值，左边缺失列项的值赋上NaN：

>>> pd.merge(left, right, on='k1', how='right')
   A  B k1 k2_x C  D  k2_y
0  a2  b2 y  3 c1 d1  5
1  a3  b3 y  4 c1 d1  5
2  a2  b2 y  3 c2 d2  6
3  a3  b3 y  4 c2 d2  6
4 NaN NaN z NaN c3 d3  7
5 NaN NaN z NaN c4 d4  8

3.3，indicator

默认值：indicator=False，不显示合并方式

设置True表示显示合并方式，即left / right / both：

>>> pd.merge(left, right, on='k1', how='outer', indicator=True)
   A  B k1 k2_x C  D  k2_y   _merge
0  a0  b0 x  1 NaN NaN NaN  left_only
1  a1  b1 x  2 NaN NaN NaN  left_only
2  a2  b2 y  3  c1  d1  5    both
3  a2  b2 y  3  c2  d2  6    both
4  a3  b3 y  4  c1  d1  5    both
5  a3  b3 y  4  c2  d2  6    both
6 NaN NaN z NaN  c3  d3  7 right_only
7 NaN NaN z NaN  c4  d4  8 right_only

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持三水点靠木。

pandas dataframe的合并实现（append, merge, concat）

- Author -

GUXH

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python 调用Java实例详解
Jun 02 Python
python中文件变化监控示例(watchdog)
Oct 16 Python
Python实现按特定格式对文件进行读写的方法示例
Nov 30 Python
python模糊图片过滤的方法
Dec 14 Python
python 使用正则表达式按照多个空格分割字符的实例
Dec 20 Python
python3中的eval和exec的区别与联系
Oct 10 Python
Python实现获取当前目录下文件名代码详解
Mar 10 Python
快速解决jupyter notebook启动需要密码的问题
Apr 21 Python
Django-migrate报错问题解决方案
Apr 21 Python
如何使用python写截屏小工具
Sep 29 Python
PyQt QMainWindow的使用示例
Mar 24 Python
Python实现文本文件拆分写入到多个文本文件的方法
Apr 18 Python
pandas.cut具体使用总结
Jun 24 #Python
使用pyinstaller打包PyQt4程序遇到的问题及解决方法
Jun 24 #Python
python日期相关操作实例小结
Jun 24 #Python
使用Python Pandas处理亿级数据的方法
Jun 24 #Python
Python3批量生成带logo的二维码方法
Jun 24 #Python
解决python文件双击运行秒退的问题
Jun 24 #Python
对python中的控制条件、循环和跳出详解
Jun 24 #Python
GF515(1) 德劲1102(1) SHARP(1) 低放电路(1) PL550(1) ICF-SW7600(1) RP2100(1) BCL3000(2) PL450(1) 乐信(1)
You might like
利用PHP制作简单的内容采集器的代码
2007/11/28 PHP
PHP把网页保存为word文件的三种方法
2014/04/01 PHP
windows下配置apache+php+mysql时出现问题的处理方法
2014/06/20 PHP
微信公众号支付之坑：调用支付jsapi缺少参数 timeStamp等错误解决方法
2016/01/12 PHP
PHP使用redis消息队列发布微博的方法示例
2017/06/22 PHP
Yii框架中用response保存cookie，用request读取cookie的原理解析
2019/09/04 PHP
COM中获取JavaScript数组大小的代码
2009/11/22 Javascript
再谈javascript 动态添加样式规则 W3C校检
2009/12/25 Javascript
jquery getScript动态加载JS方法改进详解
2012/11/15 Javascript
Javascript 遮罩层和加载效果代码
2013/08/01 Javascript
js中的异常处理try...catch使用介绍
2013/09/21 Javascript
图片翻转效果具体实现代码
2014/01/09 Javascript
浅析JS动态创建元素【两种方法】
2016/04/20 Javascript
javascript实现平滑无缝滚动
2020/08/09 Javascript
Javascript打印局部页面实例
2016/06/21 Javascript
微信小程序 框架详解及实例应用
2016/09/26 Javascript
vue跨域解决方法
2017/10/15 Javascript
js+canvas实现验证码功能
2020/09/21 Javascript
微信小程序云开发如何使用npm安装依赖
2019/05/18 Javascript
原生JS实现贪吃蛇小游戏
2020/03/09 Javascript
Python采用raw_input读取输入值的方法
2014/08/18 Python
[原创]教女朋友学Python（一）运行环境搭建
2017/11/29 Python
Python实现k-means算法
2018/02/23 Python
读取json格式为DataFrame(可转为.csv)的实例讲解
2018/06/05 Python
Windows下安装Scrapy
2018/10/17 Python
Django Admin后台添加数据库视图过程解析
2020/04/01 Python
Django如何使用redis作为缓存
2020/05/21 Python
特罗佩亚包官方网站：Tropea
2017/01/03 全球购物
英国标准协会商店：BSI Shop
2019/02/25 全球购物
职高毕业生自我鉴定
2013/10/21 职场文书
班长岗位职责
2013/11/10 职场文书
食品销售计划书
2014/04/26 职场文书
生产操作工岗位职责
2014/09/16 职场文书
学生会部长竞选稿
2015/11/19 职场文书
MySQL 隔离数据列和前缀索引的使用总结
2021/05/14 MySQL
Android基础入门之dataBinding的简单使用教程
2022/06/21 Java/Android