pandas和spark dataframe互相转换实例详解


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe转pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由于pandas的方式是单机版的,即toPandas()的方式是单机版的,所以参考breeze_lsw改成分布式版本:

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df, n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
paramiko模块安装和使用(远程登录服务器)
Jan 27 Python
深入理解Python 代码优化详解
Oct 27 Python
对python3 一组数值的归一化处理方法详解
Jul 11 Python
Python实现的旋转数组功能算法示例
Feb 23 Python
python实现二维数组的对角线遍历
Mar 02 Python
python生成随机红包的实例写法
Sep 02 Python
基于python cut和qcut的用法及区别详解
Nov 22 Python
基于python 等频分箱qcut问题的解决
Mar 03 Python
python中sklearn的pipeline模块实例详解
May 21 Python
快速了解Python开发环境Spyder
Jun 29 Python
python文件排序的方法总结
Sep 13 Python
Python xmltodict模块安装及代码实例
Oct 05 Python
PyTorch中Tensor的数据统计示例
Feb 17 #Python
pytorch实现Tensor变量之间的转换
Feb 17 #Python
Macbook安装Python最新版本、GUI开发环境、图像处理、视频处理环境详解
Feb 17 #Python
PyCharm无法识别PyQt5的2种解决方法,ModuleNotFoundError: No module named 'pyqt5'
Feb 17 #Python
python识别验证码图片实例详解
Feb 17 #Python
Python pyautogui模块实现鼠标键盘自动化方法详解
Feb 17 #Python
Matplotlib使用字符串代替变量绘制散点图的方法
Feb 17 #Python
You might like
PHP中调用SVN命令更新网站方法
2015/01/07 PHP
thinkphp,onethink和thinkox中验证码不显示的解决方法分析
2016/06/06 PHP
PHP实现限制IP访问及提交次数的方法详解
2017/07/17 PHP
Nginx下ThinkPHP5的配置方法详解
2017/08/01 PHP
Jquery ui css framework
2010/06/28 Javascript
Jquery图片滚动与幻灯片的实例代码
2013/04/08 Javascript
Js实现滚动变色的文字效果
2014/06/16 Javascript
javascript数组排序汇总
2015/07/07 Javascript
简单理解Vue条件渲染
2016/12/03 Javascript
JS数字千分位格式化实现方法总结
2016/12/16 Javascript
ajax与json 获取数据并在前台使用简单实例
2017/01/19 Javascript
JAVA中截取字符串substring用法详解
2017/04/14 Javascript
很棒的vue弹窗组件
2017/05/24 Javascript
基于D3.js实现时钟效果
2018/07/17 Javascript
原生JS实现简单的倒计时功能示例
2018/08/30 Javascript
bootstrap自定义样式之bootstrap实现侧边导航栏功能
2018/09/10 Javascript
解决vue 格式化银行卡(信用卡)每4位一个符号隔断的问题
2018/09/14 Javascript
微信小程序购物车、父子组件传值及calc的注意事项总结
2018/11/14 Javascript
vue实现移动端悬浮窗效果
2018/12/01 Javascript
Vue elementui字体图标显示问题解决方案
2020/08/18 Javascript
[46:44]DOTA2-DPC中国联赛 正赛 Ehome vs PSG.LGD BO3 第二场 3月7日
2021/03/11 DOTA
python遍历文件夹并删除特定格式文件的示例
2014/03/05 Python
python matplotlib 在指定的两个点之间连线方法
2018/05/25 Python
Python两个字典键同值相加的几种方法
2019/03/05 Python
pycharm修改文件的默认打开方式的步骤
2019/07/29 Python
python二分法查找算法实现方法【递归与非递归】
2019/12/06 Python
flask 框架操作MySQL数据库简单示例
2020/02/02 Python
python 实现人和电脑猜拳的示例代码
2020/03/02 Python
英国电子产品购物网站:TobyDeals
2018/07/30 全球购物
全球最大的房车租赁市场:Outdoorsy
2018/09/19 全球购物
豪华复古化妆:Besame Cosmetics
2019/09/06 全球购物
营销与策划专业毕业生求职信
2013/11/01 职场文书
文秘专业应届生求职信范文
2013/11/14 职场文书
篮球赛口号
2014/06/18 职场文书
组织生活会表态发言材料
2014/10/17 职场文书
联谊会开场白
2015/06/01 职场文书