如何使用pycharm连接Databricks的步骤详解


Posted in Python onSeptember 23, 2020

在本地使用pycharm连接databricks,大致步骤如下:

首先,为了让本地环境能够识别远端的databricks集群环境,需要收集databricks的基本信息和自己databricks的token,这些信息能够让本地环境识别databricks;接着,需要使用到工具 anaconda创建一个虚拟环境,连接databricks;最后,将虚拟环境导入pycharm。

(下面的图渣渣,因为直接拖进来的)

第0步:检查

检查java版本,需要时1.8开头的版本,如果不是,请到这里下载:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

如何使用pycharm连接Databricks的步骤详解

第1步:收集databricks的信息

查看python版本 (还不知道怎么看,这里cluster的python版本为3.7)
查看Runtime Version

如何使用pycharm连接Databricks的步骤详解

查看cluster ulr,解析出下面信息

如何使用pycharm连接Databricks的步骤详解

生成token,点击这个小人-user setting

如何使用pycharm连接Databricks的步骤详解
如何使用pycharm连接Databricks的步骤详解
如何使用pycharm连接Databricks的步骤详解

最后,这是我们收集到的所有信息

如何使用pycharm连接Databricks的步骤详解

第2步:安装anaconda

如果已经安装anaconda,请略过这一步
没有安装,可以看这个教程
https://3water.com/article/196286.htm

第3步:使用anaconda创建虚拟环境

下面的参数信息,使用第一步收集的信息
打开anaconda的命令行

如何使用pycharm连接Databricks的步骤详解

创建一个3.7版本的虚拟隔离环境

conda create -n dbconnect python=3.7

如何使用pycharm连接Databricks的步骤详解

使用环境

conda activate dbconnect

如何使用pycharm连接Databricks的步骤详解

卸载pyspark,如果是新创建的环境,可以不用执行这步(这是为了确保,创建的环境不能有pyspark的包,因为会产生包的问题)

pip uninstall pyspark

如何使用pycharm连接Databricks的步骤详解

下面开始安装包,但是为了让安装速度快一些,使用清华镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro/
conda config --set show_channel_urls yes

如何使用pycharm连接Databricks的步骤详解

查看是否切换到镜像

conda config --show channels

可以看到已经切换

如何使用pycharm连接Databricks的步骤详解

安装connect包,第一步中确定的run的版本为6.4,故选择6.4.* (用公司的网络,下载很慢,我用自己的热点)

pip install -U databricks-connect==6.4.*

如何使用pycharm连接Databricks的步骤详解

连接远端databricks,并输入第一步收集的相关信息

databricks-connect configure

如何使用pycharm连接Databricks的步骤详解

测试是否已经连接上:

databricks-connect test

已经在启动节点了

如何使用pycharm连接Databricks的步骤详解

查看databricks,可以看到

如何使用pycharm连接Databricks的步骤详解

第4步:pycharm导入虚拟环境

打开pycahrm,点击setting

如何使用pycharm连接Databricks的步骤详解

选择解释器,点击小齿轮的add'

如何使用pycharm连接Databricks的步骤详解

选择刚才我们创建好的dbconnect

如何使用pycharm连接Databricks的步骤详解

点击ok,可以看到已经选好了环境

如何使用pycharm连接Databricks的步骤详解

不知道为啥连接不到远端的包,我的项目还需要在本地安装一些用的包

conda install scikit-learn==0.22.1
conda install pandas==0.24.2
conda install pyarrow==0.15.1

如何使用pycharm连接Databricks的步骤详解

在pycharm测试运行一下:

import pandas as pd
import numpy as np

# Generate a pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

from pyspark.sql import *
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame(pdf)

print(df.head(5))

去databrick的cluster log看一下,已经启动了节点,正在运行

如何使用pycharm连接Databricks的步骤详解

到此这篇关于如何使用pycharm连接Databricks的步骤详解的文章就介绍到这了,更多相关pycharm连接Databricks内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python def函数的定义、使用及参数传递实现代码
Aug 10 Python
浅析Python多线程下的变量问题
Apr 28 Python
Python实现将json文件中向量写入Excel的方法
Mar 26 Python
python docx 中文字体设置的操作方法
May 08 Python
Python+pandas计算数据相关系数的实例
Jul 03 Python
Python合并同一个文件夹下所有PDF文件的方法
Mar 11 Python
关于Python作用域自学总结
Jun 10 Python
详细介绍Python进度条tqdm的使用
Jul 31 Python
pytorch实现mnist分类的示例讲解
Jan 10 Python
浅析python表达式4+0.5值的数据类型
Feb 26 Python
利用4行Python代码监测每一行程序的运行时间和空间消耗
Apr 22 Python
python 调用API接口 获取和解析 Json数据
Sep 28 Python
社区版pycharm创建django项目的方法(pycharm的newproject左侧没有项目选项)
Sep 23 #Python
Python3+RIDE+RobotFramework自动化测试框架搭建过程详解
Sep 23 #Python
python通过函数名调用函数的几种场景
Sep 23 #Python
Python如何执行系统命令
Sep 23 #Python
Python SMTP发送电子邮件的示例
Sep 23 #Python
python两个list[]相加的实现方法
Sep 23 #Python
python matplotlib库的基本使用
Sep 23 #Python
You might like
对淘宝URL中ID提取的PHP代码
2013/09/01 PHP
PHP的error_reporting错误级别变量对照表
2014/07/08 PHP
php与flash as3 socket通信传送文件实现代码
2014/08/16 PHP
php gd等比例缩放压缩图片函数
2016/06/12 PHP
Laravel框架学习笔记之批量更新数据功能
2019/05/30 PHP
javaScript parseInt字符转化为数字函数使用小结
2009/11/05 Javascript
IE无法设置短域名下Cookie
2010/09/23 Javascript
jquery form 隐藏的input 选择
2014/04/29 Javascript
JavaScript阻止浏览器返回按钮的方法
2015/03/18 Javascript
浅谈javascript中的Function和Arguments
2016/08/30 Javascript
一步一步封装自己的HtmlHelper组件BootstrapHelper(二)
2016/09/14 Javascript
Javascript函数中的arguments.callee用法实例分析
2016/09/16 Javascript
解析js如何获取css样式
2016/12/11 Javascript
JS实现异步上传压缩图片
2017/04/22 Javascript
简单谈谈原生js的math对象
2017/06/27 Javascript
详解JavaScript的变量
2019/04/04 Javascript
bootstrap+spring boot实现面包屑导航功能(前端代码)
2019/10/09 Javascript
vue项目查看vue版本及cli版本的实现方式
2020/10/24 Javascript
[05:14]辉夜杯主赛事第二日 RECAP精彩回顾
2015/12/27 DOTA
初步理解Python进程的信号通讯
2015/04/09 Python
Python的Flask框架中SQLAlchemy使用时的乱码问题解决
2015/11/07 Python
Python使用ctypes调用C/C++的方法
2019/01/29 Python
python datetime时间格式的相互转换问题
2020/06/11 Python
Python字符串及文本模式方法详解
2020/09/10 Python
瑞典灯具和照明网上商店:Lamp24.se
2018/03/17 全球购物
精伦电子Java笔试题
2013/01/16 面试题
C语言编程题
2015/03/09 面试题
优秀班干部事迹材料
2014/01/26 职场文书
校园活动宣传方案
2014/03/28 职场文书
献爱心活动总结
2014/05/07 职场文书
教师求职自荐书
2014/06/14 职场文书
竞选学习委员演讲稿
2014/09/01 职场文书
领导班子作风建设剖析材料
2014/10/11 职场文书
辞职信的写法
2015/02/27 职场文书
2015年英语教师工作总结
2015/05/20 职场文书
MySQL数据库⾼可⽤HA实现小结
2022/01/22 MySQL