如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中文分词,使用结巴分词对python进行分词(实例讲解)
Nov 14 Python
Python带动态参数功能的sqlite工具类
May 26 Python
python实现比较文件内容异同
Jun 22 Python
Python判断一个三位数是否为水仙花数的示例
Nov 13 Python
对pandas中时间窗函数rolling的使用详解
Nov 28 Python
在unittest中使用 logging 模块记录测试数据的方法
Nov 30 Python
Python代码太长换行的实现
Jul 05 Python
Django使用 Bootstrap 样式修改书籍列表过程解析
Aug 09 Python
python manage.py runserver流程解析
Nov 08 Python
使用pytorch实现论文中的unet网络
Jun 24 Python
python中time、datetime模块的使用
Dec 14 Python
python基于tkinter制作无损音乐下载工具
Mar 29 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
oracle资料库函式库
2006/10/09 PHP
PHP 反向排序和随机排序代码
2010/06/30 PHP
Dom 结点创建 基础知识
2011/10/01 Javascript
JSONP 跨域共享信息
2012/08/16 Javascript
自定义右键属性覆盖浏览器默认右键行为实现代码
2013/02/02 Javascript
基于javascipt-dom编程 table对象的使用
2013/04/22 Javascript
jquery获取div距离窗口和父级dv的距离示例
2013/10/10 Javascript
javascript抖动元素的小例子
2013/10/28 Javascript
jquery解析xml字符串示例分享
2014/03/25 Javascript
jquery修改网页背景颜色通过css方法实现
2014/06/06 Javascript
js创建一个input数组并绑定click事件的方法
2014/06/12 Javascript
Labelauty?jQuery单选框/复选框美化插件分享
2015/09/26 Javascript
jQuery Validation Plugin验证插件手动验证
2016/01/26 Javascript
js替换字符串中所有指定的字符(实现代码)
2016/08/17 Javascript
10分钟掌握XML、JSON及其解析
2020/12/06 Javascript
jQuery实现别踩白块儿网页版小游戏
2017/01/18 Javascript
prototype.js简单实现ajax功能示例
2017/10/18 Javascript
vue.js中实现登录控制的方法示例
2018/04/23 Javascript
小程序分页实践之编写可复用分页组件
2019/07/18 Javascript
vue实现导航标题栏随页面滚动渐隐渐显效果
2020/03/12 Javascript
[15:58]DOTA2国际邀请赛采访专栏:Tongfu.Sansheng&KingJ,DK.rOtk
2013/08/08 DOTA
[01:49]一目了然!DOTA2DotA快捷操作对比第二弹
2014/05/16 DOTA
Python3基础之输入和输出实例分析
2014/08/18 Python
selenium+python截图不成功的解决方法
2019/01/30 Python
详解Python读取yaml文件多层菜单
2019/03/23 Python
在python中实现同行输入/接收多个数据的示例
2019/07/20 Python
python栈的基本定义与使用方法示例【初始化、赋值、入栈、出栈等】
2019/10/24 Python
html5播放视频且动态截图实现步骤与代码(支持safari其他未测试)
2013/01/06 HTML / CSS
Monnier Frères美国官网:法国知名奢侈品网站
2016/11/22 全球购物
BNKR中国官网:带你感受澳洲领先潮流时尚
2018/08/21 全球购物
PyQt QMainWindow的使用示例
2021/03/24 Python
领导干部学习“三严三实”思想汇报
2014/09/15 职场文书
2015年父亲节活动总结
2015/02/12 职场文书
2016中学教师读书心得体会
2016/01/13 职场文书
护理工作心得体会
2016/01/22 职场文书
2019个人工作总结
2019/06/21 职场文书