pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例


Posted in Python onAugust 02, 2018

代码如下,步骤流程在代码注释中可见:

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化数据
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#显示数据
sentenceData.select("label").show()
 
#spark.DataFrame 转换成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.DataFrame 转换成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印数据
print pandas_df

程序结果:

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

以上这篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的类实例属性访问规则探讨
Jan 30 Python
Python 读写文件和file对象的方法(推荐)
Sep 12 Python
Python变量赋值的秘密分享
Apr 03 Python
Python BS4库的安装与使用详解
Aug 08 Python
Python3中关于cookie的创建与保存
Oct 21 Python
Python的条件表达式和lambda表达式实例
Jan 31 Python
python环境路径配置以及命令行运行脚本
Apr 02 Python
简单的Python调度器Schedule详解
Aug 30 Python
Python selenium的基本使用方法分析
Dec 21 Python
python torch.utils.data.DataLoader使用方法
Apr 02 Python
Kears 使用:通过回调函数保存最佳准确率下的模型操作
Jun 17 Python
Python结合百度语音识别实现实时翻译软件的实现
Jan 18 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 #Python
python爬虫框架scrapy实现模拟登录操作示例
Aug 02 #Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
You might like
php ci框架验证码实例分析
2013/06/26 PHP
PHP中的Memcache详解
2014/04/05 PHP
php继承中方法重载(覆盖)的应用场合
2015/02/09 PHP
PHP生成唯一ID之SnowFlake算法
2016/12/17 PHP
ExtJS 学习专题(一) 如何应用ExtJS(附实例)
2010/03/11 Javascript
使用Node.js实现一个简单的FastCGI服务器实例
2014/06/09 Javascript
window.returnValue使用方法示例介绍
2014/07/03 Javascript
jQuery实现统计复选框选中数量
2014/11/24 Javascript
浅谈javascript中基本包装类型
2015/06/03 Javascript
JQuery复制DOM节点的方法
2015/06/11 Javascript
小议JavaScript中Generator和Iterator的使用
2015/07/29 Javascript
javascript中alert()与console.log()的区别
2015/08/26 Javascript
JS禁用页面上所有控件的实现方法(附demo源码下载)
2015/12/17 Javascript
javascript嵌套函数和在函数内调用外部函数的区别分析
2016/01/31 Javascript
AngularJS封装$http.post()实例详解
2017/05/06 Javascript
解决jQuery ajax动态新增节点无法触发点击事件的问题
2017/05/24 jQuery
Vue弹出菜单功能的实现代码
2018/09/12 Javascript
BootStrap前端框架使用方法详解
2020/02/26 Javascript
vue实现图片按比例缩放问题操作
2020/08/11 Javascript
[01:10]为家乡而战!完美世界城市挑战赛全国总决赛花絮
2019/07/25 DOTA
最大K个数问题的Python版解法总结
2016/06/16 Python
django 发送手机验证码的示例代码
2018/04/25 Python
正确理解Python中if __name__ == '__main__'
2019/01/24 Python
pandas 缺失值与空值处理的实现方法
2019/10/12 Python
Python for循环搭配else常见问题解决
2020/02/11 Python
python如何把字符串类型list转换成list
2020/02/18 Python
使用python的turtle函数绘制一个滑稽表情
2020/02/28 Python
使用 Python 遍历目录树的方法
2020/02/29 Python
基于PyInstaller各参数的含义说明
2021/03/04 Python
css3实现多个元素依次显示效果
2017/12/12 HTML / CSS
HTML5进阶段内联标签汇总(小篇)
2016/07/13 HTML / CSS
应届生.NET方向面试题
2015/05/23 面试题
夫妻双方自愿离婚协议书
2014/10/24 职场文书
男人帮观后感
2015/06/18 职场文书
《金色的草地》教学反思
2016/02/17 职场文书
详解GaussDB for MySQL性能优化
2021/05/18 MySQL