如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
基于Python实现通过微信搜索功能查看谁把你删除了
Jan 27 Python
你应该知道的python列表去重方法
Jan 17 Python
Python编程之字符串模板(Template)用法实例分析
Jul 22 Python
python opencv实现运动检测
Jul 10 Python
Python中 map()函数的用法详解
Jul 10 Python
Python求两个圆的交点坐标或三个圆的交点坐标方法
Nov 07 Python
python微信聊天机器人改进版(定时或触发抓取天气预报、励志语录等,向好友推送)
Apr 25 Python
python实现几种归一化方法(Normalization Method)
Jul 31 Python
浅谈PyQt5中异步刷新UI和Python多线程总结
Dec 13 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 Python
Python使用tkinter实现摇骰子小游戏功能的代码
Jul 02 Python
Python序列化与反序列化相关知识总结
Jun 08 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
一个取得文件扩展名的函数
2006/10/09 PHP
PHP控制网页过期时间的代码
2008/09/28 PHP
php xml 入门学习资料
2011/01/01 PHP
解决PhpMyAdmin中导入2M以上大文件限制的方法分享
2014/06/06 PHP
Web开发者必备的12款超赞jQuery插件
2010/12/03 Javascript
js/ajax跨越访问-jsonp的原理和实例(javascript和jquery实现代码)
2012/12/27 Javascript
js取整数、取余数的方法
2014/05/11 Javascript
如何用jQuery实现ASP.NET GridView折叠伸展效果
2015/09/26 Javascript
基于jQuery实现鼠标点击导航菜单水波动画效果附源码下载
2016/01/06 Javascript
js实现内容显示并使用json传输数据
2016/03/16 Javascript
js对象实例详解(JavaScript对象深度剖析,深度理解js对象)
2017/09/21 Javascript
详解vue使用$http服务端收不到参数
2019/04/19 Javascript
解决$store.getters调用不执行的问题
2019/11/08 Javascript
c++生成dll使用python调用dll的方法
2014/01/20 Python
Python面向对象编程中关于类和方法的学习笔记
2016/06/30 Python
python简单读取大文件的方法
2016/07/01 Python
Python通过TensorFlow卷积神经网络实现猫狗识别
2019/03/14 Python
python实现QQ空间自动点赞功能
2019/04/09 Python
python 计算一个字符串中所有数字的和实例
2019/06/11 Python
Ubuntu18.04下python版本完美切换的解决方法
2019/06/14 Python
关于pytorch中网络loss传播和参数更新的理解
2019/08/20 Python
Python Selenium安装及环境配置的实现
2020/03/17 Python
keras 使用Lambda 快速新建层 添加多个参数操作
2020/06/10 Python
python如何发送带有附件、正文为HTML的邮件
2021/02/27 Python
CSS3 网页下拉菜单代码解释 中文翻译
2010/02/27 HTML / CSS
Giglio俄罗斯奢侈品购物网:男士、女士、儿童高级时装
2018/07/27 全球购物
英国绿色商店:Natural Collection
2019/05/03 全球购物
马耳他航空公司官方网站:Air Malta
2019/05/15 全球购物
美国亚洲时尚和美容产品的一站式网上商店:Stylevana
2019/09/05 全球购物
Ever New美国:澳大利亚领先的女装时尚品牌
2019/11/28 全球购物
高中生毕业自我鉴定
2013/10/10 职场文书
运动会广播稿100字
2014/09/14 职场文书
老公保证书
2015/01/17 职场文书
节水倡议书
2015/01/19 职场文书
2015年司机工作总结
2015/04/23 职场文书
分享3个非常实用的 Python 模块
2022/03/03 Python