如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python编程中用close()方法关闭文件的教程
May 24 Python
Python的Django框架中自定义模版标签的示例
Jul 20 Python
Python减少循环层次和缩进的技巧分析
Mar 15 Python
Python做文本按行去重的实现方法
Oct 19 Python
Python正则表达式非贪婪、多行匹配功能示例
Aug 08 Python
Python3.4编程实现简单抓取爬虫功能示例
Sep 14 Python
Python实现随机选择元素功能
Sep 14 Python
flask使用session保存登录状态及拦截未登录请求代码
Jan 19 Python
python 获取当天每个准点时间戳的实例
May 22 Python
查看python下OpenCV版本的方法
Aug 03 Python
python GUI库图形界面开发之PyQt5打印控件QPrinter详细使用方法与实例
Feb 28 Python
Python confluent kafka客户端配置kerberos认证流程详解
Oct 12 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
用ADODB来让PHP操作ACCESS数据库的方法
2006/12/31 PHP
snoopy 强大的PHP采集类使用实例代码
2010/12/09 PHP
php获取后台Job管理的实现代码
2011/06/10 PHP
探讨Hessian在PHP中的使用分析
2013/06/13 PHP
PHP代码优化技巧小结
2015/09/29 PHP
PHP+Ajax 检测网络是否正常实例详解
2016/12/16 PHP
PHP实现生成推广海报的方法详解
2018/03/14 PHP
PHP自动识别当前使用移动终端
2018/05/21 PHP
javascript 客户端验证上传图片的大小(兼容IE和火狐)
2009/08/15 Javascript
一个简单的javascript类定义例子
2009/09/12 Javascript
JQuery中each()的使用方法说明
2010/08/19 Javascript
JQuery实现简单验证码提示解决方案
2012/12/20 Javascript
javascript随机将第一个dom中的图片添加到第二个div中示例
2013/10/08 Javascript
js时间戳转为日期格式的方法
2015/12/28 Javascript
jQuery获取某天的农历日期并判断是否除夕或新年的方法
2016/03/01 Javascript
smartupload实现文件上传时获取表单数据(推荐)
2016/12/12 Javascript
js实现自动轮换选项卡
2017/01/13 Javascript
jQuery插件FusionCharts绘制2D环饼图效果示例【附demo源码】
2017/04/10 jQuery
python通过zlib实现压缩与解压字符串的方法
2014/11/19 Python
python使用BeautifulSoup分页网页中超链接的方法
2015/04/04 Python
Python常用知识点汇总
2016/05/08 Python
Python3.6.2调用ffmpeg的方法
2019/01/10 Python
python实现多层感知器MLP(基于双月数据集)
2019/01/18 Python
Python中Numpy ndarray的使用详解
2019/05/24 Python
python内存监控工具memory_profiler和guppy的用法详解
2019/07/29 Python
python安装virtualenv虚拟环境步骤图文详解
2019/09/18 Python
Python笔记之facade模式
2019/11/20 Python
python 普通克里金(Kriging)法的实现
2019/12/19 Python
python 浮点数四舍五入需要注意的地方
2020/08/18 Python
Nip + Fab官网:英国美容品牌
2019/08/26 全球购物
小区门卫管理制度
2014/01/29 职场文书
八一建军节活动方案
2014/02/10 职场文书
股权收购意向书
2014/04/01 职场文书
乡镇三严三实学习心得体会
2014/10/13 职场文书
婚礼新人答谢词
2015/01/04 职场文书
酒店办公室主任岗位职责
2015/04/01 职场文书