Pandas 合并多个Dataframe(merge,concat)的方法


Posted in Python onJune 08, 2018

在数据处理的时候,尤其在搞大数据竞赛的时候经常会遇到一个问题就是,多个表单的合并问题,比如一个表单有user_id和age这两个字段,另一个表单有user_id和sex这两个字段,要把这两个表合并成只有user_id、age、sex三个字段的表怎么办的,普通的拼接是做不到的,因为user_id每一行之间不是对应的,像拼积木似的横向拼接肯定是不行的。

pandas中有个merge函数可以做到这个实用的功能,merge这个词会点SQL语言的应该都不陌生。

下面说说merge函数怎么用:

df = pd.merge(df1, df2, how='left', on='user_id')

用法很简单,说一下后两个参数就可以了,how=""参数表示以哪个表的key为准,上面的how="left"表示以表df1为准,而key也就是on=""的参数

how="left"就是说,保留user_id字段的全部信息,不增加也不减少,但是拼接的时候只把df2表中的与df1中user_id字段交集的部分合并上就可以了,如果df2中出现了某个user_id在df1中没有出现,就抛弃掉这个样本不作处理。

如果要进行多key合并:

df = pd.merge(df1, df2, how='left', on=['user_id','sku_id'])

但是如果想仅进行简单的“拼接”而不是合并呢,要使用concat函数:

df = pd.concat( [df_user, dummies_sex, dummies_age, dummies_level], axis=1 )

这样可以保留这些表单的全部信息,参数axis=1表示列拼接,axis=0表示行拼接。

要保证背个表单的行数是相同的,并且每一行对应的key也是相同的,列拼接才变得有意义

以上这篇Pandas 合并多个Dataframe(merge,concat)的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python读取视频流提取视频帧的两种方法
Oct 22 Python
mac 安装python网络请求包requests方法
Jun 13 Python
django.db.utils.ProgrammingError: (1146, u“Table‘’ doesn’t exist”)问题的解决
Jul 13 Python
Python 使用PIL中的resize进行缩放的实例讲解
Aug 03 Python
python 阶乘累加和的实例
Feb 01 Python
python 字典的打印实现
Sep 26 Python
Python 切分数组实例解析
Nov 07 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
如何搭建pytorch环境的方法步骤
May 06 Python
Python爬取阿拉丁统计信息过程图解
May 12 Python
python编程简单几行代码实现视频转换Gif示例
Oct 05 Python
Python可视化神器pyecharts之绘制箱形图
Jul 07 Python
使用pandas对两个dataframe进行join的实例
Jun 08 #Python
pandas带有重复索引操作方法
Jun 08 #Python
使用python爬取B站千万级数据
Jun 08 #Python
pandas表连接 索引上的合并方法
Jun 08 #Python
详谈Pandas中iloc和loc以及ix的区别
Jun 08 #Python
python实现人人自动回复、抢沙发功能
Jun 08 #Python
利用Python写一个爬妹子的爬虫
Jun 08 #Python
You might like
基于python发送邮件的乱码问题的解决办法
2013/04/25 PHP
JS操作XML中DTD介绍及使用方法分析
2019/07/04 PHP
理解Javascript_15_作用域分配与变量访问规则,再送个闭包
2010/10/20 Javascript
js不完美解决click和dblclick事件冲突问题
2012/07/16 Javascript
Js与下拉列表处理问题解决
2014/02/13 Javascript
jsp网页搜索结果中实现选中一行使其高亮
2014/02/17 Javascript
JQUERY简单按钮轮换选中效果实现方法
2015/05/07 Javascript
Javascript中prototype属性实现给内置对象添加新的方法
2015/05/14 Javascript
禁止按回车键提交表单的方法
2015/06/11 Javascript
全面解析Bootstrap中nav、collapse的使用方法
2016/05/22 Javascript
elementUI Vue 单个按钮显示和隐藏的变换功能(两种方法)
2018/09/04 Javascript
jQuery 点击获取验证码按钮及倒计时功能
2018/09/20 jQuery
Javascript实现秒表倒计时功能
2018/11/17 Javascript
10行代码实现微信小程序滑动tab切换
2018/12/28 Javascript
Js代码中的span拼接问题解决
2019/11/22 Javascript
详解Django中的过滤器
2015/07/16 Python
Python闭包执行时值的传递方式实例分析
2018/06/04 Python
python读取文本中的坐标方法
2018/10/14 Python
Python3.0中普通方法、类方法和静态方法的比较
2019/05/03 Python
Python中使用__new__实现单例模式并解析
2019/06/25 Python
Python定时任务APScheduler安装及使用解析
2020/08/07 Python
Python爬虫+Tkinter制作一个翻译软件的示例
2021/02/20 Python
英国DVD和蓝光碟片购买网站:Zoom.co.uk(电影和电视)
2019/09/23 全球购物
七年级政治教学反思
2014/02/03 职场文书
校庆活动方案
2014/03/31 职场文书
法人授权委托书样本
2014/09/19 职场文书
2014年宣传工作总结
2014/11/18 职场文书
介绍长城的导游词
2015/01/30 职场文书
2016年中秋祝酒词
2015/11/26 职场文书
Python基础知识之变量的详解
2021/04/14 Python
如何用python绘制雷达图
2021/04/24 Python
Promise面试题详解之控制并发
2021/05/14 面试题
python基础之类方法和静态方法
2021/10/24 Python
JavaScript严格模式不支持八进制的问题讲解
2021/11/07 Javascript
Python&Matlab实现樱花的绘制
2022/04/07 Python
Python matplotlib绘制雷达图
2022/04/13 Python