如何在Win10系统使用Python3连接Hive


Posted in Python onOctober 15, 2020

由于数据存放在大数据平台的Hive数据仓库中,我需要在Win10系统上利用Python3连接Hive,然后读取数据,进行探索、分析和挖掘工作。

如何在Win10系统使用Python3连接Hive

我通过网上查找资料和实际测试,把Win10系统Python3成功连接Hive配置总结如下。

第一步:安装依赖库

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1

提示:若是无法安装,也可以点击如下网址,

https://www.lfd.uci.edu/~gohlke/pythonlibs/

选择合适库的whl下载,然后进行本地化安装。

第二步:安装impyla库

我采用本地化安装方式,先下载impyla库的whl,如下图:

如何在Win10系统使用Python3连接Hive

再安装

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示:上面的绝对路径根据你自己的情况而定

第三步:测试impyla库是否可以使用

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

若是运行通过,表示利用impala连接Hive配置成功。

简单示例:

从Hive的一张表读取100条记录,放到pandas的DataFrame里面。

参考代码:

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()

参考资料

https://github.com/cloudera/impyla

以上就是如何在Win10系统使用Python3连接Hive的详细内容,更多关于Python3连接Hive的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
wxpython 学习笔记 第一天
Feb 09 Python
Python深入学习之闭包
Aug 31 Python
探究数组排序提升Python程序的循环的运行效率的原因
Apr 01 Python
python统计cpu利用率的方法
Jun 02 Python
python常用函数详解
Sep 13 Python
利用Python如何制作好玩的GIF动图详解
Jul 11 Python
使用Python实现从各个子文件夹中复制指定文件的方法
Oct 25 Python
python带参数打包exe及调用方式
Dec 21 Python
TensorFlow2.1.0安装过程中setuptools、wrapt等相关错误指南
Apr 08 Python
Python实现一个优先级队列的方法
Jul 31 Python
python破解同事的压缩包密码
Oct 14 Python
python3读取文件指定行的三种方法
May 24 Python
Python进行特征提取的示例代码
Oct 15 #Python
Python通过递归函数输出嵌套列表元素
Oct 15 #Python
Python安装第三方库攻略(pip和Anaconda)
Oct 15 #Python
Python return语句如何实现结果返回调用
Oct 15 #Python
python 进程池pool使用详解
Oct 15 #Python
python 输入字符串生成所有有效的IP地址(LeetCode 93号题)
Oct 15 #Python
Python3使用 GitLab API 进行批量合并分支
Oct 15 #Python
You might like
php print EOF实现方法
2009/05/21 PHP
php设计模式之单例模式实例分析
2015/02/25 PHP
php post大量数据时发现数据丢失问题解决方法
2015/06/20 PHP
9个比较实用的php代码片段
2016/03/15 PHP
PHP实现的获取文件mimes类型工具类示例
2018/04/08 PHP
PHP fopen中文文件名乱码问题解决方案
2020/10/28 PHP
TNC vs IO BO3 第一场2.13
2021/03/10 DOTA
用javascript实现分割提取页面所需内容
2007/05/09 Javascript
让GoogleCode的SVN下的HTML文件在FireFox下正常显示.
2009/05/25 Javascript
基于jquery的不规则矩形的排列实现代码
2012/04/16 Javascript
javascript查询字符串参数的方法
2015/01/28 Javascript
JavaScript函数参数使用带参数名的方式赋值传入的方法
2015/03/19 Javascript
JavaScript和JQuery的鼠标mouse事件冒泡处理
2015/06/19 Javascript
jQuery隐藏和显示效果实现
2016/04/06 Javascript
js通过keyCode值判断单击键盘上某个键,然后触发指定的事件方法
2017/02/19 Javascript
详解webpack多页面配置记录
2018/01/22 Javascript
js使用ajax传值给后台,后台返回字符串处理方法
2018/08/08 Javascript
vue Tab切换以及缓存页面处理的几种方式
2019/11/05 Javascript
[01:03:31]DOTA2上海特级锦标赛B组资格赛#1 Alliance VS Fnatic第二局
2016/02/26 DOTA
Python RuntimeError: thread.__init__() not called解决方法
2015/04/28 Python
python修改操作系统时间的方法
2015/05/18 Python
Python错误处理操作示例
2018/07/18 Python
Python3中_(下划线)和__(双下划线)的用途和区别
2019/04/26 Python
Python Numpy 实现交换两行和两列的方法
2019/06/26 Python
HTML5中使用json对象的实例代码
2018/09/10 HTML / CSS
SmartBuyGlasses丹麦:网上购买名牌太阳镜、眼镜和隐形眼镜
2016/10/01 全球购物
Lookfantastic葡萄牙官方网站:欧洲第一大化妆品零售商
2018/03/17 全球购物
教师实习自我鉴定
2013/12/11 职场文书
餐饮业创业计划书范文
2014/01/06 职场文书
个人承诺书
2014/03/26 职场文书
《第一朵杏花》教学反思
2014/04/16 职场文书
注册资产评估专业求职信
2014/07/16 职场文书
公司租房协议书范本
2014/10/08 职场文书
积极心理学课程心得体会
2016/01/22 职场文书
CentOS7和8下安装Maven3.8.4
2022/04/07 Servers
html,css,javascript是怎样变成页面的
2023/05/07 HTML / CSS