PyCharm搭建Spark开发环境的实现步骤


Posted in Python onSeptember 05, 2019

1.安装好JDK

下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量:

  • 新建系统变量JAVA_HOME,值为Java安装路径
  • 新建系统变量CLASSPATH,值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圆点)
  • 配置系统变量PATH,添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin

在CMD中输入:java或者java -version,不显示不是内部命令等,说明安装成功。

2.安装Hadoop,并配置环境变量

下载hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

PyCharm搭建Spark开发环境的实现步骤

  • 解压hadoop-2.7.7.tar.gz特定路径,如:D:\adasoftware\hadoop
  • 添加系统变量HADOOP_HOME:D:\adasoftware\hadoop
  • 在系统变量PATH中添加:D:\adasoftware\hadoop\bin
  • 安装组件winutils:将winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin

3.Spark环境变量配置

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行。

  • 下载对应hadoop版本的spark:http://spark.apache.org/downloads.html
  • 解压文件到:D:\adasoftware\spark-2.4.3-bin-hadoop2.7
  • 添加PATH值:D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
  • 新建系统变量SPARK_HOME:D:\adasoftware\spark-2.4.3-bin-hadoop2.7;

4.下载安装anaconda

anaconda集成了python解释器和大多数python库,安装anaconda 后不用再安装python和pandas numpy等这些组件了。下载地址。最后将python加到path环境变量中。

5.在CMD中运行pyspark,出现类似下图说明安装配置正常:

PyCharm搭建Spark开发环境的实现步骤

出现这种warning是因为JDK版本为12,太高了,但是不影响运行。没有影响。

6.在pycharm中配置spark

打开PyCharm,创建一个Project。然后选择“Run” ->“Edit Configurations”?>点击+创建新的python Configurations

PyCharm搭建Spark开发环境的实现步骤

选择 “Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。

  • SPARK_HOME:Spark安装目录
  • PYTHONPATH:Spark安装目录下的Python目录

PyCharm搭建Spark开发环境的实现步骤

选择 File->setting->你的project->project structure

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)

保存即可

7.测试是否配置成功,程序代码如下,创建一个python程序放进去就可以:

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"

# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")

try:
 from pyspark import SparkContext
 from pyspark import SparkConf

 print("Successfully imported Spark Modules")
except ImportError as e:
 print("Can not import Spark Modules", e)
 sys.exit(1)

若程序正常输出: "Successfully imported Spark Modules"就说明环境已经可以正常执行。

PyCharm搭建Spark开发环境的实现步骤

 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的简单万年历例子分享
Apr 25 Python
python实现顺时针打印矩阵
Mar 02 Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 Python
Python使用Slider组件实现调整曲线参数功能示例
Sep 06 Python
python将数组n等分的实例
Dec 02 Python
在pycharm中创建django项目的示例代码
May 28 Python
Python基于xlutils修改表格内容过程解析
Jul 28 Python
在Python中字典按值排序的实现方法
Nov 12 Python
Python爬虫之Selenium下拉框处理的实现
Dec 04 Python
Python Django 后台管理之后台模型属性详解
Apr 25 Python
Python爬虫:从m3u8文件里提取小视频的正确操作
May 14 Python
新手必备Python开发环境搭建教程
May 28 Python
浅谈Python_Openpyxl使用(最全总结)
Sep 05 #Python
python实现人工智能Ai抠图功能
Sep 05 #Python
深入了解Python在HDA中的应用
Sep 05 #Python
python urllib爬虫模块使用解析
Sep 05 #Python
详解Python3 pandas.merge用法
Sep 05 #Python
python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
Sep 05 #Python
python爬取Ajax动态加载网页过程解析
Sep 05 #Python
You might like
php的chr和ord函数实现字符加减乘除运算实现代码
2011/12/05 PHP
PHP多例模式介绍
2013/06/24 PHP
php字符串函数学习之strstr()
2015/03/27 PHP
Laravel5.3+框架定义API路径取消CSRF保护方法详解
2020/04/06 PHP
BOOM vs RR BO5 第一场 2.14
2021/03/10 DOTA
jQuery提示效果代码分享
2014/11/20 Javascript
Jquery实现遮罩层的方法
2015/06/08 Javascript
利用JQuery写一个简单的异步分页插件
2016/03/07 Javascript
js实现添加可信站点、修改activex安全设置,禁用弹出窗口阻止程序
2016/08/17 Javascript
JSON与String互转的实现方法(Javascript)
2016/09/27 Javascript
jquery仿苹果的时间/日期选择效果
2017/03/08 Javascript
Angular2 自定义validators的实现方法
2017/07/05 Javascript
详解在vue-cli中引用jQuery、bootstrap以及使用sass、less编写css
2017/11/08 jQuery
vue.js响应式原理解析与实现
2020/06/22 Javascript
angularJS自定义directive之带参方法传递详解
2018/10/09 Javascript
React如何解决fetch跨域请求时session失效问题
2018/11/02 Javascript
javascript创建元素和删除元素实例小结
2019/06/19 Javascript
微信小程序实现文件预览
2020/10/22 Javascript
vue使用exif获取图片经纬度的示例代码
2020/12/11 Vue.js
JS+CSS实现过渡特效
2021/01/02 Javascript
js实现验证码干扰(静态)
2021/02/22 Javascript
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Python 关于反射和类的特殊成员方法
2017/09/14 Python
python3获取当前目录的实现方法
2019/07/29 Python
对django layer弹窗组件的使用详解
2019/08/31 Python
wxPython实现列表增删改查功能
2019/11/19 Python
html5 标签
2009/07/16 HTML / CSS
优秀中专生推荐信
2013/11/17 职场文书
给老婆大人的检讨书
2014/02/24 职场文书
如何写自我鉴定
2014/03/19 职场文书
毕业评语大全
2014/05/04 职场文书
缅怀革命先烈演讲稿
2014/05/14 职场文书
学雷锋志愿者活动总结
2014/06/27 职场文书
学校食堂食品安全责任书
2014/07/28 职场文书
大学组织委员竞选稿
2015/11/21 职场文书
Nginx服务器添加Systemd自定义服务过程解析
2021/03/31 Servers