如何在Win10系统使用Python3连接Hive


Posted in Python onOctober 15, 2020

由于数据存放在大数据平台的Hive数据仓库中,我需要在Win10系统上利用Python3连接Hive,然后读取数据,进行探索、分析和挖掘工作。

如何在Win10系统使用Python3连接Hive

我通过网上查找资料和实际测试,把Win10系统Python3成功连接Hive配置总结如下。

第一步:安装依赖库

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1

提示:若是无法安装,也可以点击如下网址,

https://www.lfd.uci.edu/~gohlke/pythonlibs/

选择合适库的whl下载,然后进行本地化安装。

第二步:安装impyla库

我采用本地化安装方式,先下载impyla库的whl,如下图:

如何在Win10系统使用Python3连接Hive

再安装

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示:上面的绝对路径根据你自己的情况而定

第三步:测试impyla库是否可以使用

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

若是运行通过,表示利用impala连接Hive配置成功。

简单示例:

从Hive的一张表读取100条记录,放到pandas的DataFrame里面。

参考代码:

from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()

参考资料

https://github.com/cloudera/impyla

以上就是如何在Win10系统使用Python3连接Hive的详细内容,更多关于Python3连接Hive的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python Mysql数据库操作 Perl操作Mysql数据库
Jan 12 Python
python调用java的Webservice示例
Mar 10 Python
jupyter安装小结
Mar 13 Python
Python 自动刷博客浏览量实例代码
Jun 14 Python
python3操作微信itchat实现发送图片
Feb 24 Python
django 中QuerySet特性功能详解
Jul 25 Python
基于Django ORM、一对一、一对多、多对多的全面讲解
Jul 26 Python
PyQT5 emit 和 connect的用法详解
Dec 13 Python
解决pycharm下pyuic工具使用的问题
Apr 08 Python
python读取hdfs上的parquet文件方式
Jun 06 Python
python3 中时间戳、时间、日期的转换和加减操作
Jul 14 Python
python+pyhyper实现识别图片中的车牌号思路详解
Dec 24 Python
Python进行特征提取的示例代码
Oct 15 #Python
Python通过递归函数输出嵌套列表元素
Oct 15 #Python
Python安装第三方库攻略(pip和Anaconda)
Oct 15 #Python
Python return语句如何实现结果返回调用
Oct 15 #Python
python 进程池pool使用详解
Oct 15 #Python
python 输入字符串生成所有有效的IP地址(LeetCode 93号题)
Oct 15 #Python
Python3使用 GitLab API 进行批量合并分支
Oct 15 #Python
You might like
用PHP伪造referer突破网盘禁止外连的代码
2008/06/15 PHP
php与mysql建立连接并执行SQL语句的代码
2011/07/04 PHP
Laravel 4 初级教程之安装及入门
2014/10/30 PHP
PHP使用PDO操作数据库的乱码问题解决方法
2016/04/08 PHP
laravel 判断查询数据库返回值的例子
2019/10/11 PHP
jQuery TextBox自动完成条
2009/07/22 Javascript
js调用AJAX时Get和post的乱码解决方法
2013/06/04 Javascript
简单实现js浮动框
2016/12/13 Javascript
javascript 动态生成css代码的两种方法
2017/03/17 Javascript
[js高手之路]单例模式实现模态框的示例
2017/09/01 Javascript
详解使用React进行组件库开发
2018/02/06 Javascript
详解json串反转义(消除反斜杠)
2019/08/12 Javascript
[51:29]Alliance vs TNC 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
ssh批量登录并执行命令的python实现代码
2012/05/25 Python
Python入门篇之字典
2014/10/17 Python
使用python实现个性化词云的方法
2017/06/16 Python
python爬虫爬取某站上海租房图片
2018/02/04 Python
Django 路由系统URLconf的使用
2018/10/11 Python
Python 实现OpenCV格式和PIL.Image格式互转
2020/01/09 Python
python GUI库图形界面开发之PyQt5布局控件QVBoxLayout详细使用方法与实例
2020/03/06 Python
Python txt文件如何转换成字典
2020/11/03 Python
Python如何实现感知器的逻辑电路
2020/12/25 Python
python中K-means算法基础知识点
2021/01/25 Python
详解CSS3:overflow属性
2020/11/17 HTML / CSS
美国畅销的跑步机品牌:ProForm
2017/02/06 全球购物
精致的手工皮鞋:Shoe Embassy
2019/11/08 全球购物
Android面试题及答案
2015/09/04 面试题
介绍一下Ruby中的对象,属性和方法
2012/07/11 面试题
大学生求职简历的自我评价
2013/10/21 职场文书
30岁生日感言
2014/01/25 职场文书
机关领导查摆四风思想汇报
2014/09/13 职场文书
2014年高一班主任工作总结
2014/12/05 职场文书
2014年小学校长工作总结
2014/12/08 职场文书
2015年秋季运动会前导词
2015/07/20 职场文书
家长对孩子的寒假评语
2015/10/09 职场文书
2016年万圣节家长开放日活动总结
2016/04/05 职场文书