如何将PySpark导入Python的放实现(2种)


Posted in Python onApril 26, 2020

方法一

使用findspark

使用pip安装findspark:

pip install findspark

在py文件中引入findspark:

>>> import findspark
>>> findspark.init()

导入你要使用的pyspark库

>>> from pyspark import *

优点:简单快捷
缺点:治标不治本,每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点:一劳永逸
缺点:对于小白可能不太了解环境变量是什么

问题1、ImportError: No module named pyspark

现象:

  • 已经安装配置好了PySpark,可以打开PySpark交互式界面;
  • 在Python里找不到pysaprk。

参照上面解决

问题2、ImportError: No module named ‘py4j'

现象:

已经安装配置好了PySpark,可以打开PySpark交互式界面;
按照上面的b方式配置后出现该问题。
解决方法:

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意:这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

  • Python: 3.7、2.7
  • PySpark: 1.6.2 - 预编译包
  • OS: Mac OSX 10.11.1

参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
详解Django中Request对象的相关用法
Jul 17 Python
win10环境下python3.5安装步骤图文教程
Feb 03 Python
python导入pandas具体步骤方法
Jun 23 Python
python如何解析配置文件并应用到项目中
Jun 27 Python
使用Python画股票的K线图的方法步骤
Jun 28 Python
Python的Tkinter点击按钮触发事件的例子
Jul 19 Python
详解Python 字符串相似性的几种度量方法
Aug 29 Python
python用线性回归预测股票价格的实现代码
Sep 04 Python
Python绘制热力图示例
Sep 27 Python
使用Python开发个京东上抢口罩的小实例(仅作技术研究学习使用)
Mar 10 Python
pandas分组聚合详解
Apr 10 Python
python通过opencv调用摄像头操作实例分析
Jun 07 Python
基于python实现对文件进行切分行
Apr 26 #Python
python matplotlib模块基本图形绘制方法小结【直线,曲线,直方图,饼图等】
Apr 26 #Python
简单了解Java Netty Reactor三种线程模型
Apr 26 #Python
Python Selenium截图功能实现代码
Apr 26 #Python
使用Pycharm(Python工具)新建项目及创建Python文件的教程
Apr 26 #Python
Python实现密钥密码(加解密)实例详解
Apr 26 #Python
Python基于QQ邮箱实现SSL发送
Apr 26 #Python
You might like
PHP 事务处理数据实现代码
2010/05/13 PHP
php实现比较全的数据库操作类
2015/06/18 PHP
thinkphp5.1框架中容器(Container)和门面(Facade)的实现方法分析
2019/08/05 PHP
Javascript优化技巧(文件瘦身篇)
2008/01/28 Javascript
js获取class的所有元素
2013/03/28 Javascript
JS与C#编码解码
2013/12/03 Javascript
JS获取URL中参数值(QueryString)的4种方法分享
2014/04/12 Javascript
jquery操作checkbox示例分享
2014/07/21 Javascript
JavaScript数组常用方法
2015/03/02 Javascript
JavaScript程序设计之JS调试
2015/12/09 Javascript
node+express+ejs使用模版引擎做的一个示例demo
2017/09/18 Javascript
js的函数的按值传递参数(实例讲解)
2017/11/16 Javascript
分享5个好用的javascript文件上传插件
2018/09/16 Javascript
GOJS+VUE实现流程图效果
2018/12/01 Javascript
JavaScript禁用右键单击优缺点分析
2019/01/20 Javascript
javascript原型链学习记录之继承实现方式分析
2019/05/01 Javascript
解决layui的table插件无法多层级获取json数据的问题
2019/09/19 Javascript
vue prop属性传值与传引用示例
2019/11/13 Javascript
Vue封装Axios请求和拦截器的步骤
2020/09/16 Javascript
[01:10]DOTA2英雄背景故事第四期之混沌法则混沌骑士
2020/07/16 DOTA
Python爬虫实例爬取网站搞笑段子
2017/11/08 Python
python人民币小写转大写辅助工具
2018/06/20 Python
关于不懂Chromedriver如何配置环境变量问题解决方法
2019/06/12 Python
python从zip中删除指定后缀文件(推荐)
2019/12/05 Python
Python基于requests库爬取网站信息
2020/03/02 Python
Keras 加载已经训练好的模型进行预测操作
2020/06/17 Python
Python预测2020高考分数和录取情况
2020/07/08 Python
浅析HTML5中的 History 模式
2017/06/22 HTML / CSS
Space NK英国站:英国热门美妆网站
2017/12/11 全球购物
怎样在 Applet 中建立自己的菜单(MenuBar/Menu)?
2012/06/20 面试题
乔迁宴答谢词
2014/01/21 职场文书
幼儿园安全检查制度
2014/01/30 职场文书
演讲稿开场白台词
2014/08/25 职场文书
2014年小学美术工作总结
2014/12/20 职场文书
2015年基层党组织公开承诺书
2015/01/21 职场文书
行政二审代理词
2015/05/25 职场文书