spark dataframe 将一列展开,把该列所有值都变成新列的方法


Posted in Python onJanuary 29, 2019

The original dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

需求:hour代表一天的24小时,现在要将hour列展开,每一个小时都作为一个列

实现:

val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)

并且统计了对应的countGeoPerHour的和,如果有些行没有这个新列对应的数据,将用null填充

The new dataframe

spark dataframe 将一列展开,把该列所有值都变成新列的方法

以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
socket + select 完成伪并发操作的实例
Aug 15 Python
利用Tkinter(python3.6)实现一个简单计算器
Dec 21 Python
Python爬虫实例_利用百度地图API批量获取城市所有的POI点
Jan 10 Python
在pycharm上mongodb配置及可视化设置方法
Nov 30 Python
python制作图片缩略图
Apr 30 Python
python中字符串数组逆序排列方法总结
Jun 23 Python
python笔记_将循环内容在一行输出的方法
Aug 08 Python
Django发送邮件功能实例详解
Sep 02 Python
使用python和pygame制作挡板弹球游戏
Dec 03 Python
python网络编程之五子棋游戏
May 14 Python
python 基于opencv实现图像增强
Dec 23 Python
学点简单的Django之第一个Django程序的实现
Feb 24 Python
Python使用ctypes调用C/C++的方法
Jan 29 #Python
dataframe 按条件替换某一列中的值方法
Jan 29 #Python
Numpy之random函数使用学习
Jan 29 #Python
pandas DataFrame 删除重复的行的实现方法
Jan 29 #Python
使用Python向DataFrame中指定位置添加一列或多列的方法
Jan 29 #Python
Python Pexpect库的简单使用方法
Jan 29 #Python
在Pandas中DataFrame数据合并,连接(concat,merge,join)的实例
Jan 29 #Python
You might like
php字符串截取问题
2006/11/28 PHP
深入理解PHP之数组(遍历顺序)  Laruence原创
2012/06/13 PHP
采集邮箱的php代码(抓取网页中的邮箱地址)
2012/07/17 PHP
PHP中substr()与explode()函数用法分析
2014/11/24 PHP
mac下多个php版本快速切换的方法
2016/10/09 PHP
JavaScript中的闭包原理分析
2010/03/08 Javascript
javascript中怎么做对象的类型判断
2013/11/11 Javascript
jQuery原理系列-常用Dom操作详解
2016/06/07 Javascript
Javascript 实现微信分享(QQ、朋友圈、分享给朋友)
2016/10/21 Javascript
利用Vue.js+Node.js+MongoDB实现一个博客系统(附源码)
2017/04/24 Javascript
微信小程序使用input组件实现密码框功能【附源码下载】
2017/12/11 Javascript
浅谈ajax在jquery中的请求和servlet中的响应
2018/01/22 jQuery
详解plotly.js 绘图库入门使用教程
2018/02/23 Javascript
vue 下列表侧滑操作实例代码详解
2018/07/24 Javascript
JointJS流程图的绘制方法
2018/12/03 Javascript
Vue实现手机扫描二维码预览页面效果
2020/05/28 Javascript
vue父子组件间引用之$parent、$children
2020/05/20 Javascript
vue-i18n实现中英文切换的方法
2020/07/06 Javascript
vue 在单页面应用里使用二级套嵌路由
2020/12/19 Vue.js
[02:41]DOTA2英雄基础教程 谜团
2013/12/10 DOTA
Flask入门教程实例:搭建一个静态博客
2015/03/27 Python
详解python里使用正则表达式的分组命名方式
2017/10/24 Python
Python3.5.3下配置opencv3.2.0的操作方法
2018/04/02 Python
python实战教程之自动扫雷
2018/07/13 Python
python实现爬取百度图片的方法示例
2019/07/06 Python
Python实现变声器功能(萝莉音御姐音)
2019/12/05 Python
基于python实现对文件进行切分行
2020/04/26 Python
cookies应对python反爬虫知识点详解
2020/11/25 Python
详解HTML5中表单验证的8种方法介绍
2016/12/19 HTML / CSS
P D PAOLA法国官网:西班牙著名的珠宝首饰品牌
2020/02/15 全球购物
车辆工程专业求职信
2014/06/14 职场文书
王兆力在市委党的群众路线教育实践活动总结大会上的讲话稿
2014/10/25 职场文书
店铺转让协议书
2014/12/02 职场文书
一篇合格的广告文案,其主要目的是什么?
2019/07/12 职场文书
CSS实现多个元素在盒子内两端对齐效果
2021/03/30 HTML / CSS
详解Python如何批量采集京东商品数据流程
2022/01/22 Python