如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python语言的12个基础知识点小结
Jul 10 Python
简要讲解Python编程中线程的创建与锁的使用
Feb 28 Python
Python数据结构与算法之使用队列解决小猫钓鱼问题
Dec 14 Python
基于python内置函数与匿名函数详解
Jan 09 Python
python3第三方爬虫库BeautifulSoup4安装教程
Jun 19 Python
python 快速把超大txt文件转存为csv的实例
Oct 26 Python
python如何给字典的键对应的值为字典项的字典赋值
Jul 05 Python
解决django服务器重启端口被占用的问题
Jul 26 Python
Python3显示当前时间、计算时间差及时间加减法示例代码
Sep 07 Python
Python3 pandas 操作列表实例详解
Sep 23 Python
python实现同一局域网下传输图片
Mar 20 Python
Python ArgumentParse的subparser用法说明
Apr 20 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
Yii2.0高级框架数据库增删改查的一些操作
2015/11/16 PHP
详解PHP对数组的定义以及数组的创建方法
2015/11/27 PHP
TP5框架页面跳转样式操作示例
2020/04/05 PHP
PhpStorm2020.1 安装 debug - Postman 调用的详细教程
2020/08/17 PHP
jquery 操作日期、星期、元素的追加的实现代码
2012/02/07 Javascript
JS+CSS 制作的超级简单的下拉菜单附图
2013/11/22 Javascript
详谈JavaScript 匿名函数及闭包
2014/11/14 Javascript
JS实现的自定义网页拖动类
2015/11/06 Javascript
JavaScript中的冒泡排序法
2016/08/03 Javascript
javascript实现的图片预览功能
2017/03/25 Javascript
如何理解Vue的作用域插槽的实现原理
2017/08/19 Javascript
深入浅出理解JavaScript高级定时器原理与用法
2018/08/02 Javascript
vue-cli整合vuex的时候,修改actions和mutations,实现热部署的方法
2018/09/19 Javascript
跨域请求两种方法 jsonp和cors的实现
2018/11/11 Javascript
js中数组对象去重的两种方法
2019/01/18 Javascript
详解nodejs 开发企业微信第三方应用入门教程
2019/03/12 NodeJs
layer.alert回调函数执行关闭弹窗的实例
2019/09/11 Javascript
JS精确判断数据类型代码实例
2019/12/18 Javascript
[37:45]完美世界DOTA2联赛PWL S3 LBZS vs Phoenix 第二场 12.09
2020/12/11 DOTA
pygame学习笔记(6):完成一个简单的游戏
2015/04/15 Python
python杀死一个线程的方法
2015/09/06 Python
Python 基础教程之闭包的使用方法
2017/09/29 Python
Python操作MySQL数据库的三种方法总结
2018/01/30 Python
利用Pyhton中的requests包进行网页访问测试的方法
2018/12/26 Python
python识别图像并提取文字的实现方法
2019/06/28 Python
Python用Jira库来操作Jira
2020/12/28 Python
Python实现淘宝秒杀功能的示例代码
2021/01/19 Python
英国买鞋网站:Charles Clinkard
2019/11/14 全球购物
接口中的方法可以是abstract的吗
2015/07/23 面试题
英文求职信写作小建议
2014/02/16 职场文书
完美的中文自荐信
2014/05/24 职场文书
高中国旗下的演讲稿
2014/08/28 职场文书
大学生旷课检讨书1000字
2015/02/19 职场文书
物流仓管员岗位职责
2015/04/01 职场文书
小学体育组工作总结
2015/08/13 职场文书
MySQL5.7并行复制原理及实现
2021/06/03 MySQL