spark dataframe 将一列展开,把该列所有值都变成新列的方法


Posted in Python onJanuary 29, 2019

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
从零学python系列之浅谈pickle模块封装和拆封数据对象的方法
May 23 Python
从头学Python之编写可执行的.py文件
Nov 28 Python
Python简单定义与使用二叉树示例
May 11 Python
python爬虫之urllib,伪装,超时设置,异常处理的方法
Dec 19 Python
pyside+pyqt实现鼠标右键菜单功能
Dec 08 Python
Python numpy数组转置与轴变换
Nov 15 Python
解决pycharm 安装numpy失败的问题
Dec 05 Python
Django操作session 的方法
Mar 09 Python
解决jupyter运行pyqt代码内核重启的问题
Apr 16 Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 Python
python中如何写类
Jun 29 Python
Python3爬虫带上cookie的实例代码
Jul 28 Python
Python使用ctypes调用C/C++的方法
Jan 29 #Python
dataframe 按条件替换某一列中的值方法
Jan 29 #Python
Numpy之random函数使用学习
Jan 29 #Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 #Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
You might like
用PHP创建PDF中文文档
2006/10/09 PHP
用PHP动态创建Flash动画
2006/10/09 PHP
PHP 采集程序 常用函数
2008/12/18 PHP
php实现Linux服务器木马排查及加固功能
2014/12/29 PHP
PHP 配置后台登录以及模板引入
2017/01/24 PHP
Centos7 Yum安装PHP7.2流程教程详解
2019/07/02 PHP
使用jquery prev()方法找到同级的前一个元素
2014/07/11 Javascript
jQuery动态创建html元素的常用方法汇总
2014/09/05 Javascript
js实现图片无缝滚动
2015/12/23 Javascript
JavaScript获取客户端IP的方法(新方法)
2016/03/11 Javascript
简单谈谈JS数组中的indexOf方法
2016/10/13 Javascript
bootstrap响应式导航条模板使用详解(含下拉菜单,弹出框)
2017/11/17 Javascript
解决vue单页使用keep-alive页面返回不刷新的问题
2018/03/13 Javascript
vue+springboot图片上传和显示的示例代码
2020/02/14 Javascript
vue 导航菜单刷新状态不消失,显示对应的路由界面操作
2020/08/06 Javascript
[01:25:38]DOTA2-DPC中国联赛 正赛 VG vs LBZS BO3 第一场 1月19日
2021/03/11 DOTA
对numpy中的where方法嵌套使用详解
2018/10/31 Python
Python实现带下标索引的遍历操作示例
2019/05/30 Python
Python中bisect的使用方法
2019/12/31 Python
Python多进程编程常用方法解析
2020/03/26 Python
python中的错误如何查看
2020/07/08 Python
canvas环形倒计时组件的示例代码
2018/06/14 HTML / CSS
NBA欧洲商店(法国):NBA Europe Store FR
2016/10/19 全球购物
Gap中国官网:美式休闲风服饰
2017/02/05 全球购物
Marc Jacobs官方网站:美国奢侈品牌
2017/08/29 全球购物
UNIX操作系统结构由哪几部分组成
2016/02/17 面试题
文秘应聘自荐书范文
2014/02/18 职场文书
2014全国两会心得体会
2014/03/17 职场文书
大连星海广场导游词
2015/02/10 职场文书
上课迟到检讨书
2015/05/06 职场文书
2015年大学迎新工作总结
2015/07/16 职场文书
上级领导检查欢迎词
2015/09/30 职场文书
Go 实现英尺和米的简单单位换算方式
2021/04/29 Golang
详解MySQL中的主键与事务
2021/05/27 MySQL
react antd实现动态增减表单
2021/06/03 Javascript
mysql备份策略的实现(全量备份+增量备份)
2021/07/07 MySQL