PyCharm搭建Spark开发环境的实现步骤


Posted in Python onSeptember 05, 2019

1.安装好JDK

下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量:

  • 新建系统变量JAVA_HOME,值为Java安装路径
  • 新建系统变量CLASSPATH,值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圆点)
  • 配置系统变量PATH,添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin

在CMD中输入:java或者java -version,不显示不是内部命令等,说明安装成功。

2.安装Hadoop,并配置环境变量

下载hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

PyCharm搭建Spark开发环境的实现步骤

  • 解压hadoop-2.7.7.tar.gz特定路径,如:D:\adasoftware\hadoop
  • 添加系统变量HADOOP_HOME:D:\adasoftware\hadoop
  • 在系统变量PATH中添加:D:\adasoftware\hadoop\bin
  • 安装组件winutils:将winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin

3.Spark环境变量配置

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行。

  • 下载对应hadoop版本的spark:http://spark.apache.org/downloads.html
  • 解压文件到:D:\adasoftware\spark-2.4.3-bin-hadoop2.7
  • 添加PATH值:D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
  • 新建系统变量SPARK_HOME:D:\adasoftware\spark-2.4.3-bin-hadoop2.7;

4.下载安装anaconda

anaconda集成了python解释器和大多数python库,安装anaconda 后不用再安装python和pandas numpy等这些组件了。下载地址。最后将python加到path环境变量中。

5.在CMD中运行pyspark,出现类似下图说明安装配置正常:

PyCharm搭建Spark开发环境的实现步骤

出现这种warning是因为JDK版本为12,太高了,但是不影响运行。没有影响。

6.在pycharm中配置spark

打开PyCharm,创建一个Project。然后选择“Run” ->“Edit Configurations”?>点击+创建新的python Configurations

PyCharm搭建Spark开发环境的实现步骤

选择 “Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。

  • SPARK_HOME:Spark安装目录
  • PYTHONPATH:Spark安装目录下的Python目录

PyCharm搭建Spark开发环境的实现步骤

选择 File->setting->你的project->project structure

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)

保存即可

7.测试是否配置成功,程序代码如下,创建一个python程序放进去就可以:

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"

# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")

try:
 from pyspark import SparkContext
 from pyspark import SparkConf

 print("Successfully imported Spark Modules")
except ImportError as e:
 print("Can not import Spark Modules", e)
 sys.exit(1)

若程序正常输出: "Successfully imported Spark Modules"就说明环境已经可以正常执行。

PyCharm搭建Spark开发环境的实现步骤

 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之模块的加载
Oct 24 Python
Python中利用sorted()函数排序的简单教程
Apr 27 Python
Python之re操作方法(详解)
Jun 14 Python
浅谈tensorflow1.0 池化层(pooling)和全连接层(dense)
Apr 27 Python
对python中的 os.mkdir和os.mkdirs详解
Oct 16 Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
Dec 28 Python
详解Python中的format格式化函数的使用方法
Nov 20 Python
python重要函数eval多种用法解析
Jan 14 Python
TensorFlow实现指数衰减学习率的方法
Feb 05 Python
基于python实现获取网页图片过程解析
May 11 Python
Django如何批量创建Model
Sep 01 Python
OpenCV读取与写入图片的实现
Oct 13 Python
浅谈Python_Openpyxl使用(最全总结)
Sep 05 #Python
python实现人工智能Ai抠图功能
Sep 05 #Python
深入了解Python在HDA中的应用
Sep 05 #Python
python urllib爬虫模块使用解析
Sep 05 #Python
详解Python3 pandas.merge用法
Sep 05 #Python
python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
Sep 05 #Python
python爬取Ajax动态加载网页过程解析
Sep 05 #Python
You might like
基于php导出到Excel或CSV的详解(附utf8、gbk 编码转换)
2013/06/25 PHP
php把数组值转换成键的方法
2015/07/13 PHP
PHP基本语法实例总结
2016/09/09 PHP
php实现往pdf中加数字签名操作示例【附源码下载】
2018/08/07 PHP
php中的buffer缓冲区用法分析
2019/05/31 PHP
php字符串函数 str类常见用法示例
2020/05/15 PHP
javascript 鼠标拖动图标技术
2010/02/07 Javascript
JavaScript的漂亮的代码片段
2013/06/05 Javascript
让页面上两个div中的滚动条(滑块)同步运动示例
2013/08/07 Javascript
jQuery制作拼图小游戏
2015/01/12 Javascript
JS实现黑色风格的网页TAB选项卡效果代码
2015/10/09 Javascript
javascript实现拖放效果
2015/12/16 Javascript
jQuery使用cookie与json简单实现购物车功能
2016/04/15 Javascript
深入分析javascript中的错误处理机制
2016/07/17 Javascript
微信小程序  生命周期详解
2016/10/27 Javascript
使用Ajax与服务器(JSON)通信实例
2016/11/04 Javascript
超简单的Vue.js环境搭建教程
2017/03/17 Javascript
Vue2.x中的父组件传递数据至子组件的方法
2017/05/01 Javascript
jQuery动态生成的元素绑定事件操作实例分析
2019/05/04 jQuery
Vue项目实现简单的权限控制管理功能
2019/07/17 Javascript
JavaScript实现筛选数组
2021/03/02 Javascript
使用python Fabric动态修改远程机器hosts的方法
2018/10/26 Python
pytorch加载自定义网络权重的实现
2020/01/07 Python
Windows 下python3.8环境安装教程图文详解
2020/03/11 Python
python+django+selenium搭建简易自动化测试
2020/08/19 Python
python实现PolynomialFeatures多项式的方法
2021/01/06 Python
python基于selenium爬取斗鱼弹幕
2021/02/20 Python
Lampegiganten丹麦:欧洲领先的照明网上商店
2018/04/25 全球购物
卡骆驰英国官网:Crocs英国
2019/08/22 全球购物
英国领先的隐形眼镜在线供应商:Lenstore.co.uk
2019/11/24 全球购物
中专生自我鉴定书范文
2013/12/28 职场文书
会计职业生涯规划书
2014/01/13 职场文书
简易离婚协议书(范本)
2014/10/25 职场文书
高中生综合素质评价范文
2015/08/18 职场文书
2016年小学生寒假家长评语
2015/10/10 职场文书
使用CSS实现黑白格背景效果
2022/06/01 HTML / CSS