spark dataframe 将一列展开,把该列所有值都变成新列的方法


Posted in Python onJanuary 29, 2019

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中的正则表达式的用法
Apr 09 Python
Python中for循环控制语句用法实例
Jun 02 Python
编写Python爬虫抓取暴走漫画上gif图片的实例分享
Apr 20 Python
python抓取文件夹的所有文件
Feb 27 Python
使用Python获取网段IP个数以及地址清单的方法
Nov 01 Python
Python中垃圾回收和del语句详解
Nov 15 Python
关于python下cv.waitKey无响应的原因及解决方法
Jan 10 Python
Python实现对特定列表进行从小到大排序操作示例
Feb 11 Python
Python中numpy模块常见用法demo实例小结
Mar 16 Python
Python 实现一个计时器
Jul 28 Python
python爬取招聘要求等信息实例
Nov 20 Python
Python接口自动化之文件上传/下载接口详解
Apr 05 Python
Python使用ctypes调用C/C++的方法
Jan 29 #Python
dataframe 按条件替换某一列中的值方法
Jan 29 #Python
Numpy之random函数使用学习
Jan 29 #Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 #Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
You might like
第八节--访问方式
2006/11/16 PHP
一个捕获函数输出的函数
2007/02/14 PHP
WordPress判断用户是否登录的代码
2011/03/17 PHP
PHP中其实也可以用方法链
2011/11/10 PHP
php中的常用魔术方法总结
2013/08/02 PHP
Yii框架表单提交验证功能分析
2017/01/07 PHP
浅谈PHP错误类型及屏蔽方法
2017/05/27 PHP
JavaScript高级程序设计 读书笔记之九 本地对象Array
2012/02/27 Javascript
jQuery判断密码强度实现思路及代码
2013/04/24 Javascript
在JS数组特定索引处指定位置插入元素的技巧
2014/08/24 Javascript
JS留言功能的简单实现案例(推荐)
2016/06/23 Javascript
前端 Vue.js 和 MVVM 详细介绍
2016/12/29 Javascript
js仿微博动态栏功能
2017/02/22 Javascript
mac下的nodejs环境安装的步骤
2017/05/24 NodeJs
使用jQuery实现动态添加小广告
2017/07/11 jQuery
vue中的模态对话框组件实现过程
2018/05/01 Javascript
JS扁平化输出数组的2种方法解析
2019/09/17 Javascript
[09:37]DOTA2卡尔工作室 英雄介绍圣堂刺客篇
2013/06/13 DOTA
python继承和抽象类的实现方法
2015/01/14 Python
Cpy和Python的效率对比
2015/03/20 Python
将Python的Django框架与认证系统整合的方法
2015/07/24 Python
Python算法输出1-9数组形成的结果为100的所有运算式
2017/11/03 Python
python sqlite的Row对象操作示例
2019/09/11 Python
Python 中@property的用法详解
2020/01/15 Python
python,Java,JavaScript实现indexOf
2020/09/09 Python
CSS3中的opacity属性使用教程
2015/08/19 HTML / CSS
用CSS3和table标签实现一个圆形轨迹的动画的示例代码
2019/01/17 HTML / CSS
英国的领先快速时尚零售商:In The Style
2019/03/25 全球购物
英国PC组件和在线电脑商店:SCAN
2019/04/18 全球购物
事业单位分类改革实施方案
2014/03/21 职场文书
卫校毕业生个人自我鉴定
2014/04/28 职场文书
标准单位租车协议书
2014/09/23 职场文书
2014年监理个人工作总结
2014/12/11 职场文书
运动会通讯稿50字
2015/07/20 职场文书
低版本Druid连接池+MySQL驱动8.0导致线程阻塞、性能受限
2021/07/01 MySQL
详解Vue项目的打包方式(生成dist文件)
2022/01/18 Vue.js