pyspark 读取csv文件创建DataFrame的两种方法


Posted in Python onJune 07, 2018

方法一:用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二:纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python urlopen 使用小示例
Sep 06 Python
六个窍门助你提高Python运行效率
Jun 09 Python
python中string模块各属性以及函数的用法介绍
May 30 Python
python中import学习备忘笔记
Jan 24 Python
详解Python import方法引入模块的实例
Aug 02 Python
Python3.6安装及引入Requests库的实现方法
Jan 24 Python
http请求 request失败自动重新尝试代码示例
Jan 25 Python
python pandas.DataFrame选取、修改数据最好用.loc,.iloc,.ix实现
Jun 11 Python
python常用数据重复项处理方法
Nov 22 Python
django数据模型on_delete, db_constraint的使用详解
Dec 24 Python
pyinstaller打包成无控制台程序时运行出错(与popen冲突的解决方法)
Apr 15 Python
python 开心网和豆瓣日记爬取的小爬虫
May 29 Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
使用python画个小猪佩奇的示例代码
Jun 06 #Python
python re模块的高级用法详解
Jun 06 #Python
Python实现的爬取网易动态评论操作示例
Jun 06 #Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 #Python
利用python如何处理百万条数据(适用java新手)
Jun 06 #Python
You might like
PHP新手上路(八)
2006/10/09 PHP
了解Joomla 这款来自国外的php网站管理系统
2010/03/11 PHP
用穿越火线快速入门php面向对象
2012/02/22 PHP
关于php正则匹配汉字的方法介绍
2013/04/25 PHP
php ctype函数中文翻译和示例
2014/03/21 PHP
探究Laravel使用env函数读取环境变量为null的问题
2016/12/06 PHP
PHP使用preg_split()分割特殊字符(元字符等)的方法分析
2017/02/04 PHP
js的逻辑运算符 ||
2010/05/31 Javascript
基于jQuery实现的百度导航li拖放排列效果,即时更新数据库
2012/07/31 Javascript
datagrid框架的删除添加与修改
2013/04/08 Javascript
Javascript 命名空间模式
2013/11/01 Javascript
js代码实现无缝滚动(文字和图片)
2015/08/20 Javascript
js clearInterval()方法的定义和用法
2015/11/11 Javascript
利用jQuery及AJAX技术定时更新GridView的某一列数据
2015/12/04 Javascript
jquery Ajax实现Select动态添加数据
2017/06/08 jQuery
node.js学习之断言assert的使用示例
2017/09/28 Javascript
JS声明对象时属性名加引号与不加引号的问题及解决方法
2018/02/16 Javascript
深入剖析JavaScript instanceof 运算符
2019/06/14 Javascript
vue指令v-html使用过滤器filters功能实例
2019/10/25 Javascript
JavaScript中常用的3种弹出提示框(alert、confirm、prompt)
2020/11/10 Javascript
[50:28]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 Newbee vs KG
2018/04/01 DOTA
python函数缺省值与引用学习笔记分享
2013/02/10 Python
Python命令行参数解析模块optparse使用实例
2015/04/13 Python
详谈Python2.6和Python3.0中对除法操作的异同
2017/04/28 Python
疯狂上涨的Python 开发者应从2.x还是3.x着手?
2017/11/16 Python
快速查询Python文档方法分享
2017/12/27 Python
在django-xadmin中APScheduler的启动初始化实例
2019/11/15 Python
Spring实战之使用util:命名空间简化配置操作示例
2019/12/09 Python
20行Python代码实现视频字符化功能
2020/04/13 Python
pycharm 实现光标快速移动到括号外或行尾的操作
2021/02/05 Python
英语演讲稿范文
2014/01/03 职场文书
买卖车协议书
2014/04/21 职场文书
授权委托书
2014/09/17 职场文书
2014年办公室文员工作总结
2014/11/12 职场文书
青年联谊会致辞
2015/07/31 职场文书
100句拼搏进取的名言警句,值得一读!
2019/10/07 职场文书