Hive导入csv文件示例


Posted in 数据库 onJune 25, 2022

正文

现有文件为csv格式,需要导入hive中,设csv内容如下

1001,zs,23
1002,lis,24

首先创建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

导入数据及查询

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事项

如果建表是parquet格式可否load导入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用时会报错

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先导入成textfile,之后再从临时表导入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先导入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 创建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的数据插入到csv3
insert overwrite table csv3 select * from csv2;

总结

  • 关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
  • csv要保存到hiveparquet,需要先保存成textfile

以上就是Hive导入csv文件示例的详细内容,更多关于Hive导入csv文件的资料请关注三水点靠木其它相关文章!


Tags in this post...

数据库 相关文章推荐
SQL Server连接查询的实用教程
Apr 07 SQL Server
mybatis使用oracle进行添加数据的方法
Apr 27 Oracle
MySQL删除和插入数据很慢的问题解决
Jun 03 MySQL
解决mysql:ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO/YES)
Jun 26 MySQL
MySQL开启事务的方式
Jun 26 MySQL
Node-Red实现MySQL数据库连接的方法
Aug 07 MySQL
RPM包方式安装Oracle21c的方法详解
Aug 23 Oracle
mysql聚集索引、辅助索引、覆盖索引、联合索引的使用
Feb 12 MySQL
mysql如何查询连续记录
May 11 MySQL
MySQL数据库 任意ip连接方法
May 20 MySQL
Redis基本数据类型哈希Hash常用操作命令
Jun 01 Redis
MySQL数据库实验之 触发器和存储过程
Jun 21 MySQL
Hive HQL支持2种查询语句风格
Jun 25 #数据库
Hive日期格式转换方法总结
Jun 25 #数据库
PostgreSQL怎么创建分区表详解
Jun 25 #PostgreSQL
Mysql中的触发器定义及语法介绍
Jun 25 #MySQL
Hive常用日期格式转换语法
Jun 25 #数据库
MySQL数据库配置信息查看与修改方法详解
Jun 25 #MySQL
SQL语句中EXISTS的详细用法大全
Jun 25 #MySQL
You might like
PHP错误和异长常处理总结
2014/03/06 PHP
CentOS 6.3下安装PHP xcache扩展模块笔记
2014/09/10 PHP
php实现博客,论坛图片防盗链的方法
2016/10/15 PHP
TP3.2批量上传文件或图片 同名冲突问题的解决方法
2017/08/01 PHP
php curl发送请求实例方法
2019/08/01 PHP
jQuery chili图片远处放大插件
2009/11/30 Javascript
自定义jquery模态窗口插件无法在顶层窗口显示问题
2014/05/29 Javascript
jquery动态加载js/css文件方法(自写小函数)
2014/10/11 Javascript
js改变embed标签src值的方法
2015/04/10 Javascript
JavaScript数组去重的五种方法
2015/11/05 Javascript
javascript手风琴下拉菜单实现代码
2015/11/12 Javascript
jQuery+CSS3文字跑马灯特效的简单实现
2016/06/25 Javascript
node.js express安装及示例网站搭建方法(分享)
2016/08/22 Javascript
JavaScript-html标题滚动效果的简单实现
2016/09/08 Javascript
vue-resource + json-server模拟数据的方法
2017/11/02 Javascript
微信小程序使用request网络请求操作实例
2017/12/15 Javascript
Angular整合zTree的示例代码
2018/01/24 Javascript
使用jquery模拟a标签的click事件无法实现跳转的解决
2018/12/04 jQuery
教你使用vue-cli快速构建的小说阅读器
2019/05/13 Javascript
JavaScript canvas实现雪花随机动态飘落
2020/02/08 Javascript
微信小程序实现页面监听自定义组件的触发事件
2020/11/01 Javascript
[00:36]我的中国心——Serenity vs Fnatic
2018/08/21 DOTA
Python插件virtualenv搭建虚拟环境
2017/11/20 Python
Python实现一个Git日志统计分析的小工具
2017/12/14 Python
对python中array.sum(axis=?)的用法介绍
2018/06/28 Python
python批量替换文件名中的共同字符实例
2020/03/05 Python
python+requests实现接口测试的完整步骤
2020/10/27 Python
CSS3中颜色线性渐变实战
2015/07/18 HTML / CSS
数百万免费的图形资源:Freepik
2020/09/21 全球购物
优秀食品类广告词
2014/03/19 职场文书
医德医风演讲稿
2014/05/20 职场文书
韩语专业职业生涯规划范文:成功之路就在我们脚下
2014/09/11 职场文书
学生顶撞老师的检讨书
2014/09/17 职场文书
财产分割协议书范本
2014/11/03 职场文书
担保书怎么写 ?
2019/04/22 职场文书
ICOM R71E和R72E图文对比解说
2022/04/07 无线电