pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例


Posted in Python onAugust 02, 2018

代码如下,步骤流程在代码注释中可见:

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化数据
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#显示数据
sentenceData.select("label").show()
 
#spark.DataFrame 转换成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.DataFrame 转换成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印数据
print pandas_df

程序结果:

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

以上这篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
全面了解python中的类,对象,方法,属性
Sep 11 Python
Python常见工厂函数用法示例
Mar 21 Python
Python实现的自定义多线程多进程类示例
Mar 23 Python
使用python批量化音乐文件格式转换的实例
Jan 09 Python
python 中如何获取列表的索引
Jul 02 Python
深入了解Python枚举类型的相关知识
Jul 09 Python
Python中字典与恒等运算符的用法分析
Aug 22 Python
python实现用类读取文件数据并计算矩形面积
Jan 18 Python
Python Tkinter Entry和Text的添加与使用详解
Mar 04 Python
pandas数据处理之绘图的实现
Jun 15 Python
Python json解析库jsonpath原理及使用示例
Nov 25 Python
Pycharm在指定目录下生成文件和删除文件的实现
Dec 28 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 #Python
python爬虫框架scrapy实现模拟登录操作示例
Aug 02 #Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
You might like
PHP 开发环境配置(测试开发环境)
2010/04/28 PHP
将时间以距今多久的形式表示,PHP,js双版本
2012/09/25 PHP
PHP运行环境配置与开发环境的配置(图文教程)
2013/06/04 PHP
thinkphp文件引用与分支结构用法实例
2014/11/26 PHP
php简单socket服务器客户端代码实例
2015/05/18 PHP
php新建文件的方法实例
2019/09/26 PHP
一款Jquery 分页插件的改造方法(服务器端分页)
2011/07/11 Javascript
js window.open弹出新的网页窗口
2014/01/16 Javascript
Node.js中路径处理模块path详解
2016/11/14 Javascript
jquery无法为动态生成的元素添加点击事件的解决方法(推荐)
2016/12/26 Javascript
Bootstrap栅格系统使用方法及页面调整变形的解决方法
2017/03/10 Javascript
jQuery使用正则验证15/18身份证的方法示例
2017/04/27 jQuery
Vue.js中extend选项和delimiters选项的比较
2017/07/17 Javascript
react-native动态切换tab组件的方法
2018/07/07 Javascript
详解Vue、element-ui、axios实现省市区三级联动
2019/05/07 Javascript
javascript实现视频弹幕效果(两个版本)
2019/11/28 Javascript
vue使用自定义事件的表单输入组件用法详解【日期组件与货币组件】
2020/06/01 Javascript
vue实现移动端项目多行文本溢出省略
2020/07/29 Javascript
用Python编写web API的教程
2015/04/30 Python
Python实现网络端口转发和重定向的方法
2016/09/19 Python
python用pickle模块实现“增删改查”的简易功能
2017/06/07 Python
python 垃圾收集机制的实例详解
2017/08/20 Python
python与caffe改变通道顺序的方法
2018/08/04 Python
Python二叉树的遍历操作示例【前序遍历,中序遍历,后序遍历,层序遍历】
2018/12/24 Python
pytorch 常用函数 max ,eq说明
2020/06/28 Python
前台领班岗位职责
2013/12/04 职场文书
应届本科生推荐信范文
2013/12/25 职场文书
个人委托书怎么写
2014/04/04 职场文书
《白鹅》教学反思
2014/04/13 职场文书
大学生找工作求职信
2014/07/09 职场文书
单位授权委托书范本
2014/09/26 职场文书
2014年纪检监察工作总结
2014/11/11 职场文书
民事起诉书范本
2015/05/19 职场文书
2016学校元旦晚会经典开场白台词
2015/12/03 职场文书
关于HTML编码导致的乱码问题
2021/09/04 HTML / CSS
MySQL的存储函数与存储过程的区别解析
2022/04/08 MySQL