pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例


Posted in Python onAugust 02, 2018

代码如下,步骤流程在代码注释中可见:

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化数据
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#显示数据
sentenceData.select("label").show()
 
#spark.DataFrame 转换成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.DataFrame 转换成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印数据
print pandas_df

程序结果:

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

以上这篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
打印出python 当前全局变量和入口参数的所有属性
Jul 01 Python
python基础教程之基本数据类型和变量声明介绍
Aug 29 Python
Python中splitlines()方法的使用简介
May 20 Python
python安装mysql-python简明笔记(ubuntu环境)
Jun 25 Python
python密码错误三次锁定(实例讲解)
Nov 14 Python
Python异常处理操作实例详解
May 10 Python
浅谈pandas用groupby后对层级索引levels的处理方法
Nov 06 Python
Django uwsgi Nginx 的生产环境部署详解
Feb 02 Python
Python实现基于SVM的分类器的方法
Jul 19 Python
基于PyTorch中view的用法说明
Mar 03 Python
pyqt5打包成exe可执行文件的方法
May 14 Python
如何利用opencv判断两张图片是否相同详解
Jul 07 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 #Python
python爬虫框架scrapy实现模拟登录操作示例
Aug 02 #Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
You might like
phpMyAdmin 链接表的附加功能尚未激活问题的解决方法(已测)
2012/03/27 PHP
php冒泡排序、快速排序、快速查找、二维数组去重实例分享
2014/04/24 PHP
ThinkPHP之用户注册登录留言完整实例
2014/07/22 PHP
thinkPHP5 ACL用户权限模块用法详解
2017/05/10 PHP
JavaScript 轻松搞定快捷留言功能 只需一行代码
2010/04/01 Javascript
jquery.bgiframe.js在IE9下提示INVALID_CHARACTER_ERR错误
2013/01/11 Javascript
jquery左右滚动焦点图banner图片鼠标经过显示上下页按钮
2013/10/11 Javascript
js实现在同一窗口浏览图片
2014/09/17 Javascript
jquery 获取 outerHtml 包含当前节点本身的代码
2014/10/30 Javascript
jquery实现上下左右滑动的方法
2015/02/09 Javascript
jQuery插件Tmpl的简单使用方法
2015/04/27 Javascript
浅析Javascript中bind()方法的使用与实现
2016/05/30 Javascript
bootstrapValidator自定验证方法写法
2016/12/01 Javascript
带你快速理解javascript中的事件模型
2017/08/14 Javascript
移动端效果之Swiper详解
2017/10/09 Javascript
在Mac下彻底卸载node和npm的方法
2018/05/16 Javascript
通过jquery toggleClass()属性制作文章段落更改背景颜色
2018/05/21 jQuery
使用webpack3.0配置webpack-dev-server教程
2018/05/29 Javascript
Vue2.0仿饿了么webapp单页面应用详细步骤
2018/07/08 Javascript
微信小程序地图(map)组件点击(tap)获取经纬度的方法
2019/01/10 Javascript
Vue 禁用浏览器的前进后退操作
2020/09/04 Javascript
Windows8下安装Python的BeautifulSoup
2015/01/22 Python
python任务调度实例分析
2015/05/19 Python
Python实现提取谷歌音乐搜索结果的方法
2015/07/10 Python
Python cx_freeze打包工具处理问题思路及解决办法
2016/02/13 Python
浅谈numpy中linspace的用法 (等差数列创建函数)
2017/06/07 Python
pandas数据预处理之dataframe的groupby操作方法
2018/04/13 Python
python如何求100以内的素数
2020/05/27 Python
小结Python的反射机制
2020/09/28 Python
HTML5的语法变化介绍
2013/08/13 HTML / CSS
三个Unix的命令面试题
2015/04/12 面试题
咖啡书吧创业计划书
2014/01/13 职场文书
商务邀请函范文
2014/01/14 职场文书
大学新生军训自我鉴定
2014/03/18 职场文书
三项教育活动实施方案
2014/03/30 职场文书
2014年社区党建工作汇报材料
2014/11/02 职场文书