pandas和spark dataframe互相转换实例详解


Posted in Python onFebruary 18, 2020

这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
  .builder \
  .getOrCreate()
spark_df = spark.createDataFrame(pandas_df)

spark的dataframe转pandas的dataframe

import pandas as pd
pandas_df = spark_df.toPandas()

由于pandas的方式是单机版的,即toPandas()的方式是单机版的,所以参考breeze_lsw改成分布式版本:

import pandas as pd
def _map_to_pandas(rdds):
  return [pd.DataFrame(list(rdds))]
  
def topas(df, n_partitions=None):
  if n_partitions is not None: df = df.repartition(n_partitions)
  df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
  df_pand = pd.concat(df_pand)
  df_pand.columns = df.columns
  return df_pand
  
pandas_df = topas(spark_df)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python显示生日是星期几的方法
May 27 Python
python实现计算倒数的方法
Jul 11 Python
Python爬取成语接龙类网站
Oct 19 Python
修改默认的pip版本为对应python2.7的方法
Nov 06 Python
python实现简单日期工具类
Apr 24 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
Jun 11 Python
Django model select的多种用法详解
Jul 16 Python
TensorFlow索引与切片的实现方法
Nov 20 Python
python/Matplotlib绘制复变函数图像教程
Nov 21 Python
pygame实现飞机大战
Mar 11 Python
jupyter notebook 添加kernel permission denied的操作
Apr 21 Python
python和C++共享内存传输图像的示例
Oct 27 Python
PyTorch中Tensor的数据统计示例
Feb 17 #Python
pytorch实现Tensor变量之间的转换
Feb 17 #Python
Macbook安装Python最新版本、GUI开发环境、图像处理、视频处理环境详解
Feb 17 #Python
PyCharm无法识别PyQt5的2种解决方法,ModuleNotFoundError: No module named 'pyqt5'
Feb 17 #Python
python识别验证码图片实例详解
Feb 17 #Python
Python pyautogui模块实现鼠标键盘自动化方法详解
Feb 17 #Python
Matplotlib使用字符串代替变量绘制散点图的方法
Feb 17 #Python
You might like
PHP+FastCGI+Nginx配置PHP运行环境
2014/08/07 PHP
详解php设置session(过期、失效、有效期)
2015/11/12 PHP
浅谈thinkphp5 instance 的简单实现
2017/07/30 PHP
Laravel框架创建路由的方法详解
2019/09/04 PHP
JavaScript高级程序设计 读书笔记之八 Function类及闭包
2012/02/27 Javascript
用显卡加速,轻松把笔记本打造成取暖器的办法!
2013/04/17 Javascript
如何获取select下拉框的值(option没有及有value属性)
2013/11/08 Javascript
js数组与字符串的相互转换方法
2014/07/09 Javascript
javascript中Math.random()使用详解
2015/04/15 Javascript
D3.js中data(), enter() 和 exit()的问题详解
2015/08/17 Javascript
Js制作点击输入框时默认文字消失的效果
2015/09/05 Javascript
jstl中判断list中是否包含某个值的简单方法
2016/10/14 Javascript
想学习javascript JS和jQuery哪个重要 先学哪个
2016/12/11 Javascript
JavaScript Date 知识浅析
2017/01/29 Javascript
使用vue-route 的 beforeEach 实现导航守卫(路由跳转前验证登录)功能
2018/03/22 Javascript
详解javascript appendChild()的完整功能
2018/08/18 Javascript
JS Web Flex弹性盒子模型代码实例
2020/03/10 Javascript
vue递归获取父元素的元素实例
2020/08/07 Javascript
在Python下使用Txt2Html实现网页过滤代理的教程
2015/04/11 Python
在服务器端实现无间断部署Python应用的教程
2015/04/16 Python
python字典操作实例详解
2017/11/16 Python
flask-socketio实现WebSocket的方法
2018/07/31 Python
Python/ArcPy遍历指定目录中的MDB文件方法
2018/10/27 Python
Django 对IP访问频率进行限制的例子
2019/08/30 Python
python 使用elasticsearch 实现翻页的三种方式
2020/07/31 Python
CSS3中31种选择器使用方法教程
2013/12/05 HTML / CSS
canvas实现二维码和图片合成的示例代码
2018/08/01 HTML / CSS
一级方程式赛车官方网上商店:F1 Store(支持中文)
2018/01/12 全球购物
质量月活动策划方案
2014/03/10 职场文书
灰雀教学反思
2014/04/28 职场文书
四风对照检查剖析材料
2014/10/07 职场文书
学校党的群众路线教育实践活动总结材料
2014/10/30 职场文书
2014年酒店工作总结与计划
2014/11/17 职场文书
2015社区健康教育工作总结
2015/05/20 职场文书
公司晚会主持词
2019/04/17 职场文书
如何用JS实现网页瀑布流布局
2021/04/24 Javascript