pandas和spark dataframe互相转换实例详解


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe转pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由于pandas的方式是单机版的,即toPandas()的方式是单机版的,所以参考breeze_lsw改成分布式版本:

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df, n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Tensorflow环境搭建的方法步骤
Feb 07 Python
python topN 取最大的N个数或最小的N个数方法
Jun 04 Python
pycharm重命名文件的方法步骤
Jul 29 Python
python中下标和切片的使用方法解析
Aug 27 Python
详解Python中打乱列表顺序random.shuffle()的使用方法
Nov 11 Python
python 伯努利分布详解
Feb 25 Python
Python3 io文本及原始流I/O工具用法详解
Mar 23 Python
Python变量格式化输出实现原理解析
Aug 06 Python
mac安装python3后使用pip和pip3的区别说明
Sep 01 Python
容易被忽略的Python内置类型
Sep 03 Python
关于python中导入文件到list的问题
Oct 31 Python
python DataFrame中stack()方法、unstack()方法和pivot()方法浅析
Apr 06 Python
PyTorch中Tensor的数据统计示例
Feb 17 #Python
pytorch实现Tensor变量之间的转换
Feb 17 #Python
Macbook安装Python最新版本、GUI开发环境、图像处理、视频处理环境详解
Feb 17 #Python
PyCharm无法识别PyQt5的2种解决方法,ModuleNotFoundError: No module named 'pyqt5'
Feb 17 #Python
python识别验证码图片实例详解
Feb 17 #Python
Python pyautogui模块实现鼠标键盘自动化方法详解
Feb 17 #Python
Matplotlib使用字符串代替变量绘制散点图的方法
Feb 17 #Python
You might like
PHP图片上传类带图片显示
2006/11/25 PHP
PHP中实现crontab代码分享
2015/03/26 PHP
自写的利用PDO对mysql数据库增删改查操作类
2018/02/19 PHP
背景音乐每次刷新都可以自动更换
2007/02/01 Javascript
JavaScript 学习笔记(五)
2009/12/31 Javascript
javascript 函数调用的对象和方法
2010/07/01 Javascript
js中的replace方法使用介绍
2013/10/28 Javascript
Jquery中$.get(),$.post(),$.ajax(),$.getJSON()的用法总结
2013/11/14 Javascript
Javascript 读取操作Sql中的Xml字段
2014/10/09 Javascript
基于javascript实现浏览器滚动条快到底部时自动加载数据
2015/11/30 Javascript
基于javascript实现泡泡大冒险网页版小游戏
2016/03/23 Javascript
概述javascript在Google IE中的调试技巧
2016/11/24 Javascript
JS判断两个对象内容是否相等的方法示例
2017/04/10 Javascript
JS实现获取word文档内容并输出显示到html页面示例
2018/06/23 Javascript
微信小程序中悬浮窗功能的实现代码
2019/08/02 Javascript
vue-quill-editor 自定义工具栏和自定义图片上传路径操作
2020/08/03 Javascript
vue项目中使用rem,在入口文件添加内容操作
2020/11/11 Javascript
Python2中的raw_input() 与 input()
2015/06/12 Python
详解Python Socket网络编程
2016/01/05 Python
Python 搭建Web站点之Web服务器与Web框架
2016/11/06 Python
Python+PIL实现支付宝AR红包
2018/02/09 Python
Python3实现的简单工资管理系统示例
2019/03/12 Python
Python将列表数据写入文件(txt, csv,excel)
2019/04/03 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
2019/12/09 Python
Python下利用BeautifulSoup解析HTML的实现
2020/01/17 Python
Anaconda3+tensorflow2.0.0+PyCharm安装与环境搭建(图文)
2020/02/18 Python
用什么库写 Python 命令行程序(示例代码详解)
2020/02/20 Python
Python 获取异常(Exception)信息的几种方法
2020/12/29 Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
2021/01/29 Python
一款纯css3实现的tab选项卡的实列教程
2014/12/11 HTML / CSS
公共汽车、火车和飞机票的通用在线预订和销售平台:INFOBUS
2019/11/30 全球购物
英语课前三分钟演讲稿
2014/08/19 职场文书
2014年职称评定工作总结
2014/11/26 职场文书
生活委员竞选稿
2015/11/21 职场文书
中学生打架检讨书之500字
2019/08/06 职场文书
Python代码风格与编程习惯重要吗?
2021/06/03 Python