spark dataframe 将一列展开,把该列所有值都变成新列的方法


Posted in Python onJanuary 29, 2019

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编写屏幕截图程序方法
Feb 18 Python
Python中Django 后台自定义表单控件
Mar 28 Python
Python类的继承和多态代码详解
Dec 27 Python
PyTorch上实现卷积神经网络CNN的方法
Apr 28 Python
Python列表解析配合if else的方法
Jun 23 Python
pandas将numpy数组写入到csv的实例
Jul 04 Python
python3 property装饰器实现原理与用法示例
May 15 Python
Pandas之MultiIndex对象的示例详解
Jun 25 Python
在Python中append以及extend返回None的例子
Jul 20 Python
pycharm修改文件的默认打开方式的步骤
Jul 29 Python
解决pycharm中的run和debug失效无法点击运行
Jun 09 Python
python 如何实现遗传算法
Sep 22 Python
Python使用ctypes调用C/C++的方法
Jan 29 #Python
dataframe 按条件替换某一列中的值方法
Jan 29 #Python
Numpy之random函数使用学习
Jan 29 #Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 #Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
You might like
PHP的宝库目录--PEAR
2006/10/09 PHP
PHP设计模式之代理模式的深入解析
2013/06/13 PHP
php设计模式之命令模式使用示例
2014/03/02 PHP
php生成shtml类用法实例
2014/12/09 PHP
php使用gzip压缩传输js和css文件的方法
2015/07/29 PHP
PHP explode()函数的几个应用和implode()函数有什么区别
2015/11/05 PHP
PHP中set error handler函数用法小结
2015/11/11 PHP
laravel实现分页样式替换示例代码(增加首、尾页)
2017/09/22 PHP
laravel 解决groupBy时出现的错误 isn't in Group By问题
2019/10/17 PHP
javaScript 删除字符串空格多种方法小结
2012/10/24 Javascript
JavaScript遍历table表格中的某行某列并打印其值
2014/07/08 Javascript
Angularjs 动态改变title标题(兼容ios)
2016/12/29 Javascript
ES6入门教程之Iterator与for...of循环详解
2017/05/17 Javascript
node实现登录图片验证码的示例代码
2018/04/20 Javascript
详解vue-property-decorator使用手册
2019/07/29 Javascript
详解JavaScript 作用域
2020/07/14 Javascript
[01:56]《DOTA2》中文配音CG
2013/04/22 DOTA
linux系统使用python获取cpu信息脚本分享
2014/01/15 Python
python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)
2014/02/24 Python
python链接Oracle数据库的方法
2015/06/28 Python
Python的Tornado框架的异步任务与AsyncHTTPClient
2016/06/27 Python
Pandas标记删除重复记录的方法
2018/04/08 Python
python turtle工具绘制四叶草的实例分享
2020/02/14 Python
如何通过Python3和ssl实现加密通信功能
2020/05/09 Python
python 还原梯度下降算法实现一维线性回归
2020/10/22 Python
H5 canvas中width、height和style的宽高区别详解
2018/11/02 HTML / CSS
日本无添加化妆品:HABA
2016/08/18 全球购物
英国领先的在线高尔夫商店:Scottsdale Golf
2019/08/26 全球购物
预订旅游活动、景点和旅游:GetYourGuide
2019/09/29 全球购物
Stührling手表官方网站:男女高品质时尚手表的领先零售商
2021/01/07 全球购物
网络教育自我鉴定
2013/11/01 职场文书
面试自我介绍演讲稿
2014/04/29 职场文书
物业公司的岗位任命书
2014/06/06 职场文书
2014年保洁员工作总结
2014/11/19 职场文书
五四青年节比赛演讲稿
2015/03/18 职场文书
导游词之丹东鸭绿江
2019/10/24 职场文书