PyCharm搭建Spark开发环境的实现步骤


Posted in Python onSeptember 05, 2019

1.安装好JDK

下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量:

  • 新建系统变量JAVA_HOME,值为Java安装路径
  • 新建系统变量CLASSPATH,值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圆点)
  • 配置系统变量PATH,添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin

在CMD中输入:java或者java -version,不显示不是内部命令等,说明安装成功。

2.安装Hadoop,并配置环境变量

下载hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

PyCharm搭建Spark开发环境的实现步骤

  • 解压hadoop-2.7.7.tar.gz特定路径,如:D:\adasoftware\hadoop
  • 添加系统变量HADOOP_HOME:D:\adasoftware\hadoop
  • 在系统变量PATH中添加:D:\adasoftware\hadoop\bin
  • 安装组件winutils:将winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin

3.Spark环境变量配置

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行。

  • 下载对应hadoop版本的spark:http://spark.apache.org/downloads.html
  • 解压文件到:D:\adasoftware\spark-2.4.3-bin-hadoop2.7
  • 添加PATH值:D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
  • 新建系统变量SPARK_HOME:D:\adasoftware\spark-2.4.3-bin-hadoop2.7;

4.下载安装anaconda

anaconda集成了python解释器和大多数python库,安装anaconda 后不用再安装python和pandas numpy等这些组件了。下载地址。最后将python加到path环境变量中。

5.在CMD中运行pyspark,出现类似下图说明安装配置正常:

PyCharm搭建Spark开发环境的实现步骤

出现这种warning是因为JDK版本为12,太高了,但是不影响运行。没有影响。

6.在pycharm中配置spark

打开PyCharm,创建一个Project。然后选择“Run” ->“Edit Configurations”?>点击+创建新的python Configurations

PyCharm搭建Spark开发环境的实现步骤

选择 “Environment variables” 增加SPARK_HOME目录与PYTHONPATH目录。

  • SPARK_HOME:Spark安装目录
  • PYTHONPATH:Spark安装目录下的Python目录

PyCharm搭建Spark开发环境的实现步骤

选择 File->setting->你的project->project structure

右上角Add content root添加:py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)

保存即可

7.测试是否配置成功,程序代码如下,创建一个python程序放进去就可以:

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"

# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")

try:
 from pyspark import SparkContext
 from pyspark import SparkConf

 print("Successfully imported Spark Modules")
except ImportError as e:
 print("Can not import Spark Modules", e)
 sys.exit(1)

若程序正常输出: "Successfully imported Spark Modules"就说明环境已经可以正常执行。

PyCharm搭建Spark开发环境的实现步骤

 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 提取文件的小程序
Jul 29 Python
在Django的模型和公用函数中使用惰性翻译对象
Jul 27 Python
Python操作csv文件实例详解
Jul 31 Python
python3.6使用pymysql连接Mysql数据库
May 25 Python
pip安装时ReadTimeoutError的解决方法
Jun 12 Python
Python实现多属性排序的方法
Dec 05 Python
对pandas处理json数据的方法详解
Feb 08 Python
在Python运行时动态查看进程内部信息的方法
Feb 22 Python
详解Python字典的操作
Mar 04 Python
python使用requests模块实现爬取电影天堂最新电影信息
Apr 03 Python
python读写csv文件实例代码
Jul 05 Python
Django中的AutoField字段使用
May 18 Python
浅谈Python_Openpyxl使用(最全总结)
Sep 05 #Python
python实现人工智能Ai抠图功能
Sep 05 #Python
深入了解Python在HDA中的应用
Sep 05 #Python
python urllib爬虫模块使用解析
Sep 05 #Python
详解Python3 pandas.merge用法
Sep 05 #Python
python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
Sep 05 #Python
python爬取Ajax动态加载网页过程解析
Sep 05 #Python
You might like
PHP 多维数组排序实现代码
2009/08/05 PHP
PHP文件读写操作之文件写入代码
2011/01/13 PHP
php递归创建和删除文件夹的代码小结
2012/04/13 PHP
php检查字符串中是否包含7位GSM字符的方法
2015/03/17 PHP
PHP的关于变量和日期处理的一些面试题目整理
2015/08/10 PHP
FireFox中textNode分片的问题
2007/04/10 Javascript
Javascript动态绑定事件的简单实现代码
2010/12/25 Javascript
利用JS实现浏览器的title闪烁
2013/07/08 Javascript
jQuery操作input值的各种方法总结
2013/11/21 Javascript
node.js中的fs.readSync方法使用说明
2014/12/17 Javascript
基于jquery实现select选择框内容左右移动添加删除代码分享
2015/08/25 Javascript
再次谈论Javascript中的this
2016/06/23 Javascript
Javascript自定义事件详解
2017/01/13 Javascript
详解使用angular的HttpClient搭配rxjs
2017/09/01 Javascript
详解webpack的proxyTable无效的解决方案
2018/06/15 Javascript
node实现简单的增删改查接口实例代码
2019/08/22 Javascript
JavaScript实现简单的计算器
2020/01/16 Javascript
解决iview table组件里的 固定列 表格不自适应的问题
2020/11/13 Javascript
Python中创建字典的几种方法总结(推荐)
2017/04/27 Python
Python编程深度学习计算库之numpy
2018/12/28 Python
Python利用WMI实现ping命令的例子
2019/08/14 Python
解决windows上安装tensorflow时报错,“DLL load failed: 找不到指定的模块”的问题
2020/05/20 Python
Python join()函数原理及使用方法
2020/11/14 Python
世界上获奖最多的手机镜头:Olloclip
2018/03/03 全球购物
全球最受追捧的运动服品牌领先数字目的地:Stylerunner
2020/11/25 全球购物
JD Sports丹麦:英国领先的运动时尚零售商
2020/11/24 全球购物
大学生的网上创业计划书
2013/12/31 职场文书
网上签名寄语活动留言
2014/01/18 职场文书
交通事故赔偿协议书
2014/04/15 职场文书
单位介绍信格式
2015/01/31 职场文书
大学生个人年度总结范文
2015/02/15 职场文书
会计求职自荐信范文
2015/03/04 职场文书
教师正风肃纪心得体会
2016/01/15 职场文书
Vue实现动态查询规则生成组件
2021/05/27 Vue.js
MySql 缓存查询原理与缓存监控和索引监控介绍
2021/07/02 MySQL
js基于div丝滑实现贝塞尔曲线
2022/09/23 Javascript