如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中管道用法入门实例
Jun 04 Python
python线程、进程和协程详解
Jul 19 Python
利用Python开发微信支付的注意事项
Aug 19 Python
Python中 Lambda表达式全面解析
Nov 28 Python
使用pyecharts无法import Bar的解决方案
Apr 23 Python
Python实现发送QQ邮件的封装
Jul 14 Python
python实现简单登陆流程的方法
Apr 22 Python
pandas.DataFrame.to_json按行转json的方法
Jun 05 Python
python sklearn常用分类算法模型的调用
Oct 16 Python
python实现布隆过滤器及原理解析
Dec 08 Python
Python中操作各种多媒体,视频、音频到图片的代码详解
Jun 04 Python
pytorch 查看cuda 版本方式
Jun 23 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
全国FM电台频率大全 - 12 安徽省
2020/03/11 无线电
php的大小写敏感问题整理
2011/12/29 PHP
ThinkPHP中session函数详解
2016/09/14 PHP
URI、URL和URN之间的区别与联系
2006/12/20 Javascript
翻译整理的jQuery使用查询手册
2007/03/07 Javascript
jquery蒙版控件实现代码
2010/12/08 Javascript
深入理解javascript学习笔记(一) 编写高质量代码
2012/08/09 Javascript
jquery实现一个简单好用的弹出框
2014/09/26 Javascript
Jquery获取当前城市的天气信息
2016/08/05 Javascript
AngularJs bootstrap搭载前台框架——准备工作
2016/09/01 Javascript
Javascript vue.js表格分页,ajax异步加载数据
2016/10/24 Javascript
js手机号批量滚动抽奖实现代码
2020/04/17 Javascript
图解Javascript——作用域、作用域链、闭包
2017/03/21 Javascript
AngularJS+Bootstrap3多级导航菜单的实现代码
2017/08/16 Javascript
iphone刘海屏页面适配方法
2019/05/07 Javascript
微信小程序实现二维码签到考勤系统
2020/01/16 Javascript
jquery实现淡入淡出轮播图效果
2020/12/13 jQuery
[02:09]EHOME夺得首届辉夜杯冠军—现场颁奖仪式
2015/12/28 DOTA
[54:02]2018DOTA2亚洲邀请赛 4.1 小组赛 B组 IG vs VGJ.T
2018/04/03 DOTA
[52:36]VGJ.S vs Serenity 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
基于Python Shell获取hostname和fqdn释疑
2016/01/25 Python
Python AES加密模块用法分析
2017/05/22 Python
python实现微信接口(itchat)详细介绍
2017/10/23 Python
python 3.6 tkinter+urllib+json实现火车车次信息查询功能
2017/12/20 Python
使用Python爬取最好大学网大学排名
2018/02/24 Python
python 信息同时输出到控制台与文件的实例讲解
2018/05/11 Python
python同步windows和linux文件
2019/08/29 Python
Python识别html主要文本框过程解析
2020/02/18 Python
Python3标准库之threading进程中管理并发操作方法
2020/03/30 Python
python正则表达式的懒惰匹配和贪婪匹配说明
2020/07/13 Python
关于解决iframe标签嵌套问题的解决方法
2020/03/04 HTML / CSS
Old Navy加拿大官网:美式休闲服饰品牌
2017/09/26 全球购物
美国林业供应商:Forestry Suppliers
2019/05/01 全球购物
宝宝满月酒主持词和仪式流程
2014/03/27 职场文书
2014年学习委员工作总结
2014/11/14 职场文书
JavaScript中关于预编译、作用域链和闭包的理解
2021/03/31 Javascript