python pyhs2 的安装操作


Posted in Python onApril 07, 2021

我就废话不多说了,大家还是直接看代码吧~

# 两个依赖包: sasl&thrift
The easier way I find to install sasl on windows 7 is to use the pre-compiled version from here : http://www.lfd.uci.edu/~gohlke/pythonlibs/
There is a direct link to the sasl librairies here : http://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl just pick the one you need.
Then you install it using pip :
pip install sasl-0.1.3-cp27-none-win_amd64.whl
 
from setuptools import setup
setup(
  name='pyhs2',
  version='0.6.0',
  author='Brad Ruderman',
  author_email='bradruderman@gmail.com',
  packages=['pyhs2', 'pyhs2/cloudera', 'pyhs2/TCLIService'],
  url='https://github.com/BradRuderman/pyhs2',
  license='LICENSE.txt',
  description='Python Hive Server 2 Client Driver',
  long_description=open('README.md').read(),
  install_requires=[
    "sasl",
    "thrift",
  ],
  test_suite='pyhs2.test',
  tests_require=["mock"]
)

补充:windows7下给python3安装impyla的艰辛历程

安装环境标题已经给出了,linux下和python2下都很容易安装,我也不知道为什么python3反而这么蛋疼。就直接上干货吧,希望其他人少走弯路。

安装所需依赖

pip install ipython six bit_array thriftpy thrift_sasl==0.2.1 sasl impyla(admin下)

常见报错

error: command ‘C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\link.exe' failed with exit status 1158

FileExistsError: [WinError 183] 当文件已存在时,无法创建该文件。

LINK : fatal error LNK1158: cannot run ‘rc.exe'

大致错误分析

一般上面的报错会出现在安装sasl ,thrift_sasl,和Bitarray时,推测是源码安装时pip与windows的兼容性问题,这时可以用二进制文件安装,参考https://stackoverflow.com/questions/44315943/error-installing-scrapy-error-command-c-program-files-x86-microsoft-visu中第一个回答下的第二条回复

解决办法

https://www.lfd.uci.edu/~gohlke/pythonlibs/找到依赖的包的二进制whl文件进行安装,区分cp36和cp37的,然后一个个安装,遇到哪个依赖库报错就在这个网站中找,用它们的包进行安装即可

3/20更新

这几天又发现了新问题:

1. 在重新安装开发环境时出现了

thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol 'c'

2. 在linux上安装sasl这个库时,会出现依赖报错:error: command 'gcc' failed with exit status 1

感觉着实蛋疼,最后才找到了一劳永逸的解决办法,即使用anaconda安装impyla即可自动解决依赖问题:

conda install -c anaconda impyla

有时安装完impyla后还是会报thrift_sasl不存在的错误,可以用conda install -c anaconda thrift_sasl==0.2.1即可

参考:https://stackoverflow.com/questions/39220102/error-import-impyla-library-on-windows

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
使用Python下载Bing图片(代码)
Nov 07 Python
TensorFlow如何实现反向传播
Feb 06 Python
解决Python 使用h5py加载文件,看不到keys()的问题
Feb 08 Python
Python3网络爬虫中的requests高级用法详解
Jun 18 Python
Python pandas.DataFrame调整列顺序及修改index名的方法
Jun 21 Python
python and or用法详解
Jun 26 Python
Python爬虫 批量爬取下载抖音视频代码实例
Aug 16 Python
python进程池实现的多进程文件夹copy器完整示例
Nov 27 Python
使用pytorch实现可视化中间层的结果
Dec 30 Python
python tkinter之 复选、文本、下拉的实现
Mar 04 Python
Flask-SocketIO服务端安装及使用代码示例
Nov 26 Python
十个Python自动化常用操作,即拿即用
May 10 Python
python3 sqlite3限制条件查询的操作
Apr 07 #Python
python实现高效的遗传算法
解决hive中导入text文件遇到的坑
Apr 07 #Python
python - asyncio异步编程
Apr 06 #Python
python - timeit 时间模块
Apr 06 #Python
python制作图形界面的2048游戏, 基于tkinter
python第三方网页解析器 lxml 扩展库与 xpath 的使用方法
Apr 06 #Python
You might like
PHP foreach循环使用详解与实例代码
2010/05/08 PHP
php运行提示:Fatal error Allowed memory size内存不足的解决方法
2014/12/17 PHP
PHP中抽象类,接口功能、定义方法示例
2019/02/26 PHP
php xhprof使用实例详解
2019/04/15 PHP
关于laravel框架中的常用目录路径函数
2019/10/23 PHP
PHP高并发和大流量解决方案整理
2021/03/09 PHP
使用Microsoft Ajax Minifier减小JavaScript文件大小的方法
2010/04/01 Javascript
基于jQuery的可用于选项卡及幻灯的切换插件
2011/03/28 Javascript
event.X和event.clientX的区别分析
2011/10/06 Javascript
javascript判断ie浏览器6/7版本加载不同样式表的实现代码
2011/12/26 Javascript
JS高级调试技巧:捕获和分析 JavaScript Error详解
2014/03/16 Javascript
php+js实现倒计时功能
2014/06/02 Javascript
五种js判断是否为整数类型方式
2015/12/03 Javascript
正则表达式优化JSON字符串的技巧
2015/12/24 Javascript
js操作DOM--添加、删除节点的简单实例
2016/07/08 Javascript
js 实现数值的千分位及保存小数方法(推荐)
2016/08/01 Javascript
第一次接触神奇的Bootstrap菜单和导航
2016/08/01 Javascript
微信小程序身份证验证方法实现详解
2019/06/28 Javascript
JS+JQuery实现无缝连接轮播图
2020/12/30 jQuery
pymongo实现控制mongodb中数字字段做加法的方法
2015/03/26 Python
Django migrations 默认目录修改的方法教程
2018/09/28 Python
Python使用get_text()方法从大段html中提取文本的实例
2019/08/27 Python
python 多进程并行编程 ProcessPoolExecutor的实现
2019/10/11 Python
python实现人脸签到系统
2020/04/13 Python
Python调用shell命令常用方法(4种)
2020/05/11 Python
Python+unittest+requests+excel实现接口自动化测试框架
2020/12/23 Python
HTML5使用Audio标签实现歌词同步的效果
2016/03/17 HTML / CSS
美国电子产品主要品牌的授权在线零售商:DataVision
2019/03/23 全球购物
兰蔻俄罗斯官方网站:Lancome俄罗斯
2019/12/09 全球购物
如何整合JQuery和Prototype
2014/01/31 面试题
财务与信息服务专业推荐信
2013/11/28 职场文书
加拿大探亲邀请信
2014/01/28 职场文书
化学系大学生自荐信范文
2014/03/01 职场文书
卫生院艾滋病宣传活动小结
2014/07/09 职场文书
公司股东合作协议书
2014/09/14 职场文书
Python探索生命起源 matplotlib细胞自动机动画演示
2022/04/21 Python