如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python ElementTree 基本读操作示例
Apr 09 Python
Python科学计算之NumPy入门教程
Jan 15 Python
python数据抓取分析的示例代码(python + mongodb)
Dec 25 Python
python实现批量解析邮件并下载附件
Jun 19 Python
详解windows python3.7安装numpy问题的解决方法
Aug 13 Python
python 读取鼠标点击坐标的实例
Dec 29 Python
使用Python制作新型冠状病毒实时疫情图
Jan 28 Python
python 使用递归实现打印一个数字的每一位示例
Feb 27 Python
AUC计算方法与Python实现代码
Feb 28 Python
python datetime处理时间小结
Apr 16 Python
Pandas中两个dataframe的交集和差集的示例代码
Dec 13 Python
详解Python描述符的工作原理
Jun 11 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
php 短链接算法收集与分析
2011/12/30 PHP
在Laravel中使用MongoDB的方法示例
2019/11/11 PHP
Opacity.js
2007/01/22 Javascript
懒就要懒到底——鼠标自动点击(含时间判断)
2007/02/20 Javascript
[原创]后缀就扩展名为js的文件是什么文件
2007/12/06 Javascript
jQuery获取样式中颜色值的方法
2015/01/29 Javascript
JavaScript进阶练习及简单实例分析
2016/06/03 Javascript
JS如何实现在页面上快速定位(锚点跳转问题)
2017/08/14 Javascript
Windows下Node.js安装及环境配置方法
2017/09/18 Javascript
详解vue-cli 快速搭建单页应用之遇到的问题及解决办法
2018/03/01 Javascript
vue渲染时闪烁{{}}的问题及解决方法
2018/03/28 Javascript
webpack 从指定入口文件中提取公共文件的方法
2018/11/13 Javascript
layui 数据表格复选框实现单选功能的例子
2019/09/19 Javascript
vue中v-for循环选中点击的元素并对该元素添加样式操作
2020/07/17 Javascript
解决vue+webpack项目接口跨域出现的问题
2020/08/10 Javascript
工作中常用js功能汇总
2020/11/07 Javascript
解决vuex刷新数据消失问题
2020/11/12 Javascript
[02:23]2014DOTA2国际邀请赛中国战队回顾
2014/08/01 DOTA
[00:47]DOTA2荣耀之路6:天火,天火!
2018/05/30 DOTA
python实现猜数字游戏(无重复数字)示例分享
2014/03/29 Python
Python实现按中文排序的方法示例
2018/04/25 Python
Python编程深度学习绘图库之matplotlib
2018/12/28 Python
Pytorch中膨胀卷积的用法详解
2020/01/07 Python
pytorch 准备、训练和测试自己的图片数据的方法
2020/01/10 Python
HTML5 自动聚焦(autofocus)属性使用介绍
2013/08/07 HTML / CSS
使用HTML5 Geolocation实现一个距离追踪器
2018/04/09 HTML / CSS
猫途鹰:全球领先的旅游点评社区
2017/04/07 全球购物
I.T中国官网:精选时尚设计师单品网购平台
2018/03/26 全球购物
Java和Javasciprt的区别
2012/09/02 面试题
植树节活动总结
2014/04/30 职场文书
一份恶作剧的检讨书
2014/09/13 职场文书
四风查摆问题及整改措施
2014/10/10 职场文书
2014党的群众路线教育实践活动总结报告
2014/10/31 职场文书
田径运动会广播稿
2015/08/19 职场文书
2019单位介绍信怎么写
2019/06/24 职场文书
MySQL中CURRENT_TIMESTAMP的使用方式
2021/11/27 MySQL