Pandas中DataFrame的分组/分割/合并的实现


Posted in Python onJuly 16, 2019

学习《Python3爬虫、数据清洗与可视化实战》时自己的一些实践。

DataFrame分组操作

注意分组后得到的就是Series对象了,而不再是DataFrame对象。

import pandas as pd

# 还是读取这份文件
df = pd.read_csv("E:/Data/practice/taobao_data.csv", delimiter=',', encoding='utf-8', header=0)

# 计算'成交量'按'位置'分组的平均值
grouped1 = df['成交量'].groupby(df['位置']).mean()
# print(grouped1)

Pandas中DataFrame的分组/分割/合并的实现

# 计算'成交量'先按'位置'再按'卖家'分组后的平均值
grouped2 = df['成交量'].groupby([df['位置'], df['卖家']]).mean()
# print(grouped2)

Pandas中DataFrame的分组/分割/合并的实现

# 计算先按'位置'再按'卖家'分组后的所有指标(如果可以计算平均值)的平均值
grouped3 = df.groupby([df['位置'], df['卖家']]).mean()
# print(grouped3)

Pandas中DataFrame的分组/分割/合并的实现

DataFrame数据分割和合并

这里其实可以操作得很复杂,这里是一些比较基本的用法。

import pandas as pd

# 还是读取这份文件
df = pd.read_csv("E:/Data/practice/taobao_data.csv", delimiter=',', encoding='utf-8', header=0)
# 计算销售额
df['销售额'] = df['价格'] * df['成交量']

# (1)前面学了ix,loc,iloc,这里是直接用[]运算做分割
df1 = df[30:40][['位置', '卖家']]
# print(df1) # 从30号行到39号行
df2 = df[80:90][['卖家', '销售额']]

Pandas中DataFrame的分组/分割/合并的实现

# (2)内联接操作(相当于JOIN,INNER JOIN)
df3 = pd.merge(df1, df2) # 不指定列名,默认选择列名相同的'卖家'列
# print(df3)
df4 = pd.merge(df1, df2, on='卖家') # 指定按照'卖家'相同做联接
# print(df4)

Pandas中DataFrame的分组/分割/合并的实现

# (3)全外联接操作(相当于FULL JOIN),没有值的补NaN
df5 = pd.merge(df1, df2, how='outer')
# print(df5)

Pandas中DataFrame的分组/分割/合并的实现

# (4)左外联接操作(相当于LEFT JOIN),即左边的都要,'销售额'没有就NaN
df6 = pd.merge(df1, df2, how='left')
# print(df6)

Pandas中DataFrame的分组/分割/合并的实现

# (5)右外联接操作(相当于RIGHT JOIN),即右边的都要,'位置'没有就NaN
df7 = pd.merge(df1, df2, how='right')
# print(df7)

Pandas中DataFrame的分组/分割/合并的实现

# (6)按索引相同做联接
df_a = df[:10][['位置', '卖家']]
df_b = df[3:13][['价格', '成交量']]
df_c_1 = pd.merge(df_a, df_b, left_index=True, right_index=True) # 内联接
# print(df_c_1) # 只有从3到9的

Pandas中DataFrame的分组/分割/合并的实现

df_c_2 = df_a.join(df_b) # 左外联接
# print(df_c_2) # 从0到10

Pandas中DataFrame的分组/分割/合并的实现

df_c_3 = df_b.join(df_a) # "右"外联接(其实还是左外联接,就是b在左边a在右边)
# print(df_c_3) # 从3到12

Pandas中DataFrame的分组/分割/合并的实现

# (7)轴向堆叠操作(上下堆叠时就相当于UNION ALL,默认不去重)
df8 = df[2:5][['价格']] # 注意这里只取一个列也要用[[]]
df9 = df[3:8][['销售额', '宝贝']]
df10 = df[6:11][['卖家', '位置']]
# (7.1)默认axis=0即上下堆叠,上下堆叠时,堆叠顺序和传进concat的顺序一致,最终列=所有列数去重,缺失的补NaN
# 关于axis=0需要设置sort属性的问题,还没查到有讲这个的,这个问题先留着...
df11 = pd.concat([df10, df9, df8], sort=False)
# print(df11)

Pandas中DataFrame的分组/分割/合并的实现

# (7.2)设置axis=1即左右堆叠,左右堆叠不允许索引重复,相同索引的将被合并到一行
# 左右堆叠中,堆叠顺序仅仅影响列的出现顺序
# 这很好理解,毕竟不是从上到下"摞"在一起的,而是从左到右"卡"在一起的
df12 = pd.concat([df10, df9, df8], axis=1)
df13 = pd.concat([df8, df9, df10], axis=1)
# print(df12)
# print(df13)

Pandas中DataFrame的分组/分割/合并的实现

Pandas中DataFrame的分组/分割/合并的实现

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现矩阵乘法的方法
Jun 28 Python
Python爬虫设置代理IP的方法(爬虫技巧)
Mar 04 Python
对pandas数据判断是否为NaN值的方法详解
Nov 06 Python
OpenCV-Python 摄像头实时检测人脸代码实例
Apr 30 Python
Python中 Global和Nonlocal的用法详解
Jan 20 Python
Python @property及getter setter原理详解
Mar 31 Python
TensorFlow的环境配置与安装教程详解(win10+GeForce GTX1060+CUDA 9.0+cuDNN7.3+tensorflow-gpu 1.12.0+python3.5.5)
Jun 22 Python
基于Python下载网络图片方法汇总代码实例
Jun 24 Python
Python Serial串口基本操作(收发数据)
Nov 06 Python
使用Python画了一棵圣诞树的实例代码
Nov 27 Python
用Python自动清理系统垃圾的实现
Jan 18 Python
关于Python OS模块常用文件/目录函数详解
Jul 01 Python
Python的matplotlib绘图如何修改背景颜色的实现
Jul 16 #Python
python调用其他文件函数或类的示例
Jul 16 #Python
Python PyQt5 Pycharm 环境搭建及配置详解(图文教程)
Jul 16 #Python
用Anaconda安装本地python包的方法及路径问题(图文)
Jul 16 #Python
python查找重复图片并删除(图片去重)
Jul 16 #Python
python3的print()函数的用法图文讲解
Jul 16 #Python
Python入门Anaconda和Pycharm的安装和配置详解
Jul 16 #Python
You might like
PHP,ASP.JAVA,JAVA代码格式化工具整理
2010/06/15 PHP
zend api扩展的php对象的autoload工具
2011/04/18 PHP
php中global和$GLOBALS[]的分析之一
2012/02/02 PHP
IIS6.0 开启Gzip方法及PHP Gzip函数分享
2014/06/08 PHP
getimagesize获取图片尺寸实例
2014/11/15 PHP
基于CakePHP实现的简单博客系统实例
2015/06/28 PHP
PHP中使用GD库绘制折线图 折线统计图的绘制方法
2015/11/09 PHP
PHP 闭包详解及实例代码
2016/09/28 PHP
javascript 字符串连接的性能问题(多浏览器)
2008/11/18 Javascript
javascript iframe内的函数调用实现方法
2009/07/19 Javascript
jQuery实现可收缩展开的级联菜单实例代码
2013/11/27 Javascript
javascript+html5实现绘制圆环的方法
2015/07/28 Javascript
JS简单实现多级Select联动菜单效果代码
2015/09/06 Javascript
使用BootStrap和Metroui设计的metro风格微网站或手机app界面
2016/10/21 Javascript
Vue系列:通过vue-router如何传递参数示例
2017/01/16 Javascript
Bootstrap与Angularjs的模态框实例代码
2017/08/03 Javascript
如何选择适合你的JavaScript框架
2017/11/20 Javascript
JS计算斐波拉切代码实例
2019/09/12 Javascript
vue 实现input表单元素的disabled示例
2019/10/28 Javascript
跟老齐学Python之有容乃大的list(2)
2014/09/15 Python
Python中的super用法详解
2015/05/28 Python
在Python的一段程序中如何使用多次事件循环详解
2017/09/07 Python
windows下 兼容Python2和Python3的解决方法
2018/12/05 Python
在Pycharm中将pyinstaller加入External Tools的方法
2019/01/16 Python
解决python打不开文件(文件不存在)的问题
2019/02/18 Python
瑞士隐形眼镜和护理产品网上商店:Linsenklick
2019/10/21 全球购物
德国净水壶和滤芯品牌:波尔德PearlCo(家用净水器)
2020/04/29 全球购物
咖啡店的创业计划书,让你hold不住
2014/01/03 职场文书
儿童生日会策划方案
2014/05/15 职场文书
安全负责人任命书
2014/06/06 职场文书
光棍节联谊晚会活动策划书
2014/10/10 职场文书
2015年党性分析材料
2014/12/19 职场文书
平遥古城导游词
2015/02/03 职场文书
单位收入证明范本
2015/06/18 职场文书
纪委立案决定书
2015/06/24 职场文书
用人单位的规章制度,怎样制定才是有效的?
2019/07/09 职场文书