如何在python中写hive脚本


Posted in Python onNovember 08, 2019

这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1、直接执行.sql脚本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive语句执行

假如有如下hive sql:

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式执行该hive sql:

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;

或者,使用如下语句:

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 显存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
简单介绍Python中用于求最小值的min()方法
May 15 Python
在Apache服务器上同时运行多个Django程序的方法
Jul 22 Python
TF-IDF算法解析与Python实现方法详解
Nov 16 Python
Python中的并发处理之asyncio包使用的详解
Apr 03 Python
从0开始的Python学习016异常
Apr 08 Python
Python简单基础小程序的实例代码
Apr 28 Python
Python两台电脑实现TCP通信的方法示例
May 06 Python
图文详解python安装Scrapy框架步骤
May 20 Python
python自动保存百度盘资源到百度盘中的实例代码
Aug 26 Python
使用Keras中的ImageDataGenerator进行批次读图方式
Jun 17 Python
python简单实现9宫格图片实例
Sep 03 Python
你喜欢篮球吗?Python实现篮球游戏
Jun 11 Python
Python 依赖库太多了该如何管理
Nov 08 #Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
You might like
php HandlerSocket的使用
2011/05/02 PHP
基于php中使用excel的简单介绍
2013/08/02 PHP
PHP在引号前面添加反斜杠(PHP去除反斜杠)
2013/09/28 PHP
非常实用的PHP常用函数汇总
2014/12/17 PHP
PHP面试题之文件目录操作
2015/10/15 PHP
php如何获取Http请求
2020/04/30 PHP
jQuery学习笔记之jQuery选择器的使用
2010/12/22 Javascript
javascript获取xml节点的最大值(实现代码)
2013/12/11 Javascript
jQuery函数map()和each()介绍及异同点分析
2014/11/08 Javascript
jQuery实现购物车计算价格功能的方法
2015/03/25 Javascript
JS实现上下左右对称的九九乘法表
2016/02/22 Javascript
Easyui Treegrid改变默认图标的方法
2016/04/29 Javascript
Vue.js快速入门教程
2016/09/07 Javascript
JavaScript实现计算多边形质心的方法示例
2018/01/31 Javascript
详解Ant Design of React的安装和使用方法
2018/12/27 Javascript
Vue使用.sync 实现父子组件的双向绑定数据问题
2019/04/04 Javascript
jquery实现下载图片功能
2019/07/18 jQuery
使用JavaScript通过前端发送电子邮件
2020/05/22 Javascript
vue中v-for循环选中点击的元素并对该元素添加样式操作
2020/07/17 Javascript
vue中echarts图表大小适应窗口大小且不需要刷新案例
2020/07/19 Javascript
python 生成目录树及显示文件大小的代码
2009/07/23 Python
python中xrange用法分析
2015/04/15 Python
利用Django-environ如何区分不同环境
2018/08/26 Python
Python数据可视化库seaborn的使用总结
2019/01/15 Python
Python re 模块findall() 函数返回值展现方式解析
2019/08/09 Python
详解Python并发编程之创建多线程的几种方法
2019/08/23 Python
Python zip函数打包元素实例解析
2019/12/11 Python
python实现简单的tcp 文件下载
2020/09/16 Python
用python-webdriver实现自动填表的示例代码
2021/01/13 Python
Space NK英国站:英国热门美妆网站
2017/12/11 全球购物
JDO的含义
2012/11/17 面试题
公司离职证明标准范本
2014/10/05 职场文书
人事局接收函
2015/01/31 职场文书
升职自荐信范文
2015/03/27 职场文书
风之谷观后感
2015/06/11 职场文书
基于JavaScript实现年月日三级联动
2021/06/22 Javascript