如何将PySpark导入Python的放实现(2种)


Posted in Python onApril 26, 2020

方法一

使用findspark

使用pip安装findspark:

pip install findspark

在py文件中引入findspark:

>>> import findspark
>>> findspark.init()

导入你要使用的pyspark库

>>> from pyspark import *

优点:简单快捷
缺点:治标不治本,每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点:一劳永逸
缺点:对于小白可能不太了解环境变量是什么

问题1、ImportError: No module named pyspark

现象:

  • 已经安装配置好了PySpark,可以打开PySpark交互式界面;
  • 在Python里找不到pysaprk。

参照上面解决

问题2、ImportError: No module named ‘py4j'

现象:

已经安装配置好了PySpark,可以打开PySpark交互式界面;
按照上面的b方式配置后出现该问题。
解决方法:

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意:这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

  • Python: 3.7、2.7
  • PySpark: 1.6.2 - 预编译包
  • OS: Mac OSX 10.11.1

参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python常用列表数据结构小结
Aug 06 Python
Python实现多线程抓取网页功能实例详解
Jun 08 Python
Python实现合并同一个文件夹下所有PDF文件的方法示例
Apr 28 Python
Python2包含中文报错的解决方法
Jul 09 Python
详解python实现识别手写MNIST数字集的程序
Aug 03 Python
详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本
Feb 25 Python
Python给图像添加噪声具体操作
Mar 03 Python
Django 在iframe里跳转顶层url的例子
Aug 21 Python
python实现的发邮件功能示例
Sep 11 Python
基于Python3.6中的OpenCV实现图片色彩空间的转换
Feb 03 Python
python实现按日期归档文件
Jan 30 Python
Python OpenCV超详细讲解调整大小与图像操作的实现
Apr 02 Python
基于python实现对文件进行切分行
Apr 26 #Python
python matplotlib模块基本图形绘制方法小结【直线,曲线,直方图,饼图等】
Apr 26 #Python
简单了解Java Netty Reactor三种线程模型
Apr 26 #Python
Python Selenium截图功能实现代码
Apr 26 #Python
使用Pycharm(Python工具)新建项目及创建Python文件的教程
Apr 26 #Python
Python实现密钥密码(加解密)实例详解
Apr 26 #Python
Python基于QQ邮箱实现SSL发送
Apr 26 #Python
You might like
与空气斗智斗勇的经典《Overlord》,传说中的“无稽之谈”
2020/04/09 日漫
深入浅出php socket编程
2015/05/13 PHP
10个超级有用的PHP代码片段果断收藏
2015/09/23 PHP
php+jQuery+Ajax实现点赞效果的方法(附源码下载)
2020/07/21 PHP
深入理解PHP JSON数组与对象
2016/07/19 PHP
PHPCMS2008广告模板SQL注入漏洞修复
2016/10/11 PHP
php使用自定义函数实现汉字分割替换功能示例
2017/01/30 PHP
js中将多个语句写成一个语句的两种方法小结
2007/12/08 Javascript
javascript下判断一个对象是否具有指定名称的属性的的代码
2010/01/11 Javascript
js弹出框轻量级插件jquery.boxy使用介绍
2013/01/15 Javascript
jquery怎样实现ajax联动框(二)
2013/03/08 Javascript
JS教程:window.location使用方法的区别介绍
2013/10/04 Javascript
jQuery 1.9使用$.support替代$.browser的使用方法
2014/05/27 Javascript
浅谈Javascript中深复制
2014/12/01 Javascript
JS控制文本域只读或可写属性的方法
2016/06/24 Javascript
BootStrap日期控件在模态框中选择时间下拉菜单无效的原因及解决办法(火狐下不能点击)
2016/08/18 Javascript
vue项目实现记住密码到cookie功能示例(附源码)
2018/01/31 Javascript
详解Vue一个案例引发「内容分发slot」的最全总结
2018/12/02 Javascript
vue列表单项展开收缩功能之this.$refs的详解
2019/05/05 Javascript
微信小程序-可移动菜单的实现过程详解
2019/06/24 Javascript
JS禁用右键、禁用Ctrl+u、禁用Ctrl+s、禁用F12的实现代码
2020/12/01 Javascript
[05:14]辉夜杯主赛事第二日 RECAP精彩回顾
2015/12/27 DOTA
Python对象类型及其运算方法(详解)
2017/07/05 Python
python实现感知机线性分类模型示例代码
2019/06/02 Python
python 中如何获取列表的索引
2019/07/02 Python
python 实现单通道转3通道
2019/12/03 Python
查看端口并杀进程python脚本代码
2019/12/17 Python
Python爬虫开发与项目实战
2020/12/16 Python
PyCharm 光标变成黑块的解决方式
2021/02/06 Python
详解使用HTML5 Canvas创建动态粒子网格动画
2016/12/14 HTML / CSS
几道Web/Ajax的面试题
2016/11/05 面试题
应届毕业生求职信
2013/11/30 职场文书
班级出游活动计划书
2014/08/15 职场文书
初中中等生评语
2014/12/29 职场文书
丧事酒宴答谢词
2015/09/30 职场文书
自从在 IDEA 中用了热部署神器 JRebel 之后,开发效率提升了 10(真棒)
2021/06/26 Java/Android