pandas和spark dataframe互相转换实例详解


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe转pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由于pandas的方式是单机版的,即toPandas()的方式是单机版的,所以参考breeze_lsw改成分布式版本:

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df, n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
连接Python程序与MySQL的教程
Apr 29 Python
python使用htmllib分析网页内容的方法
May 08 Python
python实现矩阵乘法的方法
Jun 28 Python
详解Python的collections模块中的deque双端队列结构
Jul 07 Python
Python实现的FTP通信客户端与服务器端功能示例
Mar 28 Python
python实现人人自动回复、抢沙发功能
Jun 08 Python
在python中,使用scatter绘制散点图的实例
Jul 03 Python
解决pycharm编辑区显示yaml文件层级结构遇中文乱码问题
Apr 27 Python
python collections模块的使用
Oct 16 Python
Python实现手势识别
Oct 21 Python
python 基于opencv 绘制图像轮廓
Dec 11 Python
Python机器学习工具scikit-learn的使用笔记
Jan 28 Python
PyTorch中Tensor的数据统计示例
Feb 17 #Python
pytorch实现Tensor变量之间的转换
Feb 17 #Python
Macbook安装Python最新版本、GUI开发环境、图像处理、视频处理环境详解
Feb 17 #Python
PyCharm无法识别PyQt5的2种解决方法,ModuleNotFoundError: No module named 'pyqt5'
Feb 17 #Python
python识别验证码图片实例详解
Feb 17 #Python
Python pyautogui模块实现鼠标键盘自动化方法详解
Feb 17 #Python
Matplotlib使用字符串代替变量绘制散点图的方法
Feb 17 #Python
You might like
php简单静态页生成过程
2008/03/27 PHP
PHP 时间日期操作实战
2011/08/26 PHP
PHP使用内置dir类实现目录遍历删除
2015/03/31 PHP
php实现随机生成易于记忆的密码
2015/06/19 PHP
PHP和Mysql中转UTF8编码问题汇总
2015/10/10 PHP
在WordPress中使用PHP脚本来判断访客来自什么国家
2015/12/10 PHP
php ucwords() 函数将字符串中每个单词的首字符转换为大写(实现代码)
2016/05/12 PHP
javascript编程起步(第六课)
2007/01/10 Javascript
JavaScript 基础问答三
2008/12/03 Javascript
javascript 函数速查表
2010/02/07 Javascript
javascript常用的正则表达式实例
2014/05/15 Javascript
JavaScript将字符串转换成字符编码列表的方法
2015/03/19 Javascript
一道常被人轻视的web前端常见面试题(JS)
2016/02/15 Javascript
限制复选框最多选择项的实现代码
2016/05/30 Javascript
vue.js入门教程之计算属性
2016/09/01 Javascript
AngularJS控制器之间的通信方式详解
2016/11/03 Javascript
利用jquery实现下拉框的禁用与启用
2016/12/07 Javascript
JavaScript获取服务器时间的方法详解
2016/12/11 Javascript
Javascript基础回顾之(三) js面向对象
2017/01/31 Javascript
利用百度地图API获取当前位置信息的实例
2017/11/06 Javascript
vue iview组件表格 render函数的使用方法详解
2018/03/15 Javascript
JS监听组合按键思路及实现过程
2020/04/17 Javascript
解决echarts中横坐标值显示不全(自动隐藏)问题
2020/07/20 Javascript
Python内置的字符串处理函数详细整理(覆盖日常所用)
2014/08/19 Python
Win7 64位下python3.6.5安装配置图文教程
2020/10/27 Python
pandas把所有大于0的数设置为1的方法
2019/01/26 Python
详解Python数据可视化编程 - 词云生成并保存(jieba+WordCloud)
2019/03/26 Python
Pytorch中的VGG实现修改最后一层FC
2020/01/15 Python
python实现学生成绩测评系统
2020/06/22 Python
python安装读取grib库总结(推荐)
2020/06/24 Python
德国最大的设计师鞋网上商店:Budapester
2017/12/07 全球购物
你所在的项目是如何确定版本号的
2015/12/28 面试题
幼师自我鉴定
2014/02/01 职场文书
学生会招新策划书
2014/02/14 职场文书
超级实用!五步法则,教你写好年终工作总结
2019/12/05 职场文书
解决Laravel使用验证时跳转到首页的问题
2021/11/17 PHP