如何将PySpark导入Python的放实现(2种)


Posted in Python onApril 26, 2020

方法一

使用findspark

使用pip安装findspark:

pip install findspark

在py文件中引入findspark:

>>> import findspark
>>> findspark.init()

导入你要使用的pyspark库

>>> from pyspark import *

优点:简单快捷
缺点:治标不治本,每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点:一劳永逸
缺点:对于小白可能不太了解环境变量是什么

问题1、ImportError: No module named pyspark

现象:

  • 已经安装配置好了PySpark,可以打开PySpark交互式界面;
  • 在Python里找不到pysaprk。

参照上面解决

问题2、ImportError: No module named ‘py4j'

现象:

已经安装配置好了PySpark,可以打开PySpark交互式界面;
按照上面的b方式配置后出现该问题。
解决方法:

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意:这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

  • Python: 3.7、2.7
  • PySpark: 1.6.2 - 预编译包
  • OS: Mac OSX 10.11.1

参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
利用Python绘制数据的瀑布图的教程
Apr 07 Python
Python 实现简单的电话本功能
Aug 09 Python
python实现爬虫统计学校BBS男女比例(一)
Dec 31 Python
Python标准库sched模块使用指南
Jul 06 Python
Python书单 不将就
Jul 11 Python
对python 生成拼接xml报文的示例详解
Dec 28 Python
Python日期时间Time模块实例详解
Apr 15 Python
Python生命游戏实现原理及过程解析(附源代码)
Aug 01 Python
详解如何从TensorFlow的mnist数据集导出手写体数字图片
Aug 05 Python
numpy.array 操作使用简单总结
Nov 08 Python
python异常处理和日志处理方式
Dec 24 Python
Python中常用的高阶函数实例详解
Feb 21 Python
基于python实现对文件进行切分行
Apr 26 #Python
python matplotlib模块基本图形绘制方法小结【直线,曲线,直方图,饼图等】
Apr 26 #Python
简单了解Java Netty Reactor三种线程模型
Apr 26 #Python
Python Selenium截图功能实现代码
Apr 26 #Python
使用Pycharm(Python工具)新建项目及创建Python文件的教程
Apr 26 #Python
Python实现密钥密码(加解密)实例详解
Apr 26 #Python
Python基于QQ邮箱实现SSL发送
Apr 26 #Python
You might like
使用MaxMind 根据IP地址对访问者定位
2006/10/09 PHP
php 全文搜索和替换的实现代码
2008/07/29 PHP
ThinkPHP自定义Redis处理SESSION的实现方法
2016/05/16 PHP
laravel model 两表联查示例
2019/10/24 PHP
一个对于Array的简单扩展
2006/10/03 Javascript
基于JavaScript 下namespace 功能的简单分析
2013/07/05 Javascript
JS防止网页被嵌入iframe框架的方法分析
2016/09/13 Javascript
JavaScript ES6中CLASS的使用详解
2016/11/22 Javascript
jQuery Dialog 打开时自动聚焦的解决方法(两种方法)
2016/11/24 Javascript
mac上node.js环境的安装测试
2017/07/03 Javascript
AngularJS 将再发布一个重要版本 然后进入长期支持阶段
2018/01/31 Javascript
echarts鼠标覆盖高亮显示节点及关系名称详解
2018/03/17 Javascript
如何在vue里添加好看的lottie动画
2018/08/02 Javascript
Vue源码解析之数组变异的实现
2018/12/04 Javascript
基于Vue插入视频的2种方法小结
2019/04/02 Javascript
vue实现前端分页完整代码
2020/06/17 Javascript
python实现telnet客户端的方法
2015/04/15 Python
Python之str操作方法(详解)
2017/06/19 Python
Python分治法定义与应用实例详解
2017/07/28 Python
linux环境下的python安装过程图解(含setuptools)
2017/11/22 Python
Python中的defaultdict与__missing__()使用介绍
2018/02/03 Python
浅谈python实现Google翻译PDF,解决换行的问题
2018/11/28 Python
解决Python中定时任务线程无法自动退出的问题
2019/02/18 Python
详解python 3.6 安装json 模块(simplejson)
2019/04/02 Python
Python 实现try重新执行
2019/12/21 Python
Python几种常见算法汇总
2020/06/02 Python
Python flask框架如何显示图像到web页面
2020/06/03 Python
Python爬虫headers处理及网络超时问题解决方案
2020/06/19 Python
HTML5 input新增type属性color颜色拾取器的实例代码
2018/08/27 HTML / CSS
巴西图书和电子产品购物网站:Saraiva
2017/06/07 全球购物
劳资专员岗位职责
2013/12/27 职场文书
工程材料采购方案
2014/05/18 职场文书
2014年自愿离婚协议书范本
2014/09/25 职场文书
护士节慰问信
2015/02/15 职场文书
健康证明
2015/06/19 职场文书
什么是检讨书?检讨书的格式及范文
2019/11/05 职场文书