Hive导入csv文件示例


Posted in 数据库 onJune 25, 2022

正文

现有文件为csv格式,需要导入hive中,设csv内容如下

1001,zs,23
1002,lis,24

首先创建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

导入数据及查询

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事项

如果建表是parquet格式可否load导入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用时会报错

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先导入成textfile,之后再从临时表导入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先导入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 创建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的数据插入到csv3
insert overwrite table csv3 select * from csv2;

总结

  • 关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
  • csv要保存到hiveparquet,需要先保存成textfile

以上就是Hive导入csv文件示例的详细内容,更多关于Hive导入csv文件的资料请关注三水点靠木其它相关文章!


Tags in this post...

数据库 相关文章推荐
redis配置文件中常用配置详解
Apr 14 Redis
MySQL创建高性能索引的全步骤
May 02 MySQL
mysql 8.0.24 安装配置方法图文教程
May 12 MySQL
详解缓存穿透击穿雪崩解决方案
May 28 Redis
详解Oracle块修改跟踪功能
Nov 07 Oracle
如何避免mysql启动时错误及sock文件作用分析
Jan 22 MySQL
MYSQL优化之数据表碎片整理详解
Apr 03 MySQL
MySQL三种方式实现递归查询
Apr 18 MySQL
MySQL数据库Innodb 引擎实现mvcc锁
May 06 MySQL
解决Oracle数据库用户密码过期
May 11 Oracle
MySQL数据库简介与基本操作
May 30 MySQL
Hive HQL支持2种查询语句风格
Jun 25 #数据库
Hive日期格式转换方法总结
Jun 25 #数据库
PostgreSQL怎么创建分区表详解
Jun 25 #PostgreSQL
Mysql中的触发器定义及语法介绍
Jun 25 #MySQL
Hive常用日期格式转换语法
Jun 25 #数据库
MySQL数据库配置信息查看与修改方法详解
Jun 25 #MySQL
SQL语句中EXISTS的详细用法大全
Jun 25 #MySQL
You might like
Laravel框架学习笔记(一)环境搭建
2014/10/15 PHP
yii插入数据库防并发的简单代码
2017/05/27 PHP
Mootools 1.2教程 同时进行多个形变动画
2009/09/15 Javascript
js获取单选框或复选框值及操作
2012/12/18 Javascript
js获取php变量的实现代码
2013/08/10 Javascript
javascript中加号(+)操作符的一些神奇作用
2014/06/06 Javascript
Javascript判断图片尺寸大小实例分析
2014/06/16 Javascript
优化Node.js Web应用运行速度的10个技巧
2014/09/03 Javascript
网页中表单按回车就自动提交的问题的解决方案
2014/11/03 Javascript
node.js中的定时器nextTick()和setImmediate()区别分析
2014/11/26 Javascript
jquery插件pagination实现无刷新ajax分页
2015/09/30 Javascript
微信小程序 获取设备信息 API实例详解
2016/10/02 Javascript
JS实现禁止鼠标右键的功能
2016/10/15 Javascript
js 打开新页面在屏幕中间的实现方法
2016/11/02 Javascript
bootstrap table实现单击单元格可编辑功能
2017/03/28 Javascript
react native与webview通信的示例代码
2017/09/25 Javascript
微信小程序视图控件与bindtap之间的问题的解决
2019/04/08 Javascript
详解mpvue开发微信小程序基础知识
2019/09/23 Javascript
python基于windows平台锁定键盘输入的方法
2015/03/05 Python
Python输出PowerPoint(ppt)文件中全部文字信息的方法
2015/04/28 Python
Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
2016/09/21 Python
利用python爬取软考试题之ip自动代理
2017/03/28 Python
Python面向对象类编写细节分析【类,方法,继承,超类,接口等】
2019/01/05 Python
对Python模块导入时全局变量__all__的作用详解
2019/01/11 Python
解决在pycharm运行代码,调用CMD窗口的命令运行显示乱码问题
2019/08/23 Python
Django shell调试models输出的SQL语句方法
2019/08/29 Python
HTML中使用SVG与SVG预定义形状元素介绍
2013/06/28 HTML / CSS
HTML5 embed 标签使用方法介绍
2013/08/13 HTML / CSS
英国经济型酒店品牌:Travelodge
2019/12/17 全球购物
Javascript如何发送一个Ajax请求
2015/01/26 面试题
项目资料员岗位职责
2013/12/10 职场文书
国旗下讲话演讲稿
2014/05/08 职场文书
创先争优活动心得体会
2014/09/04 职场文书
个人买房协议书范本
2014/10/06 职场文书
成本会计实训报告
2014/11/05 职场文书
法定代表人免职证明
2015/06/24 职场文书