hadoop中一些常用的命令介绍


Posted in PHP onJune 19, 2013

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
启动Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/start-all.sh

关闭Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。

查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?put /home/admin/newFile /user/admin/aaron/

下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?get /user/admin/aaron/newFile /home/admin/newFile

查看文件
我们可以直接在hdfs中直接查看文件,功能与类是cat类似
查看hdfs中/user/admin/aaron目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?cat /home/admin/newFile

MapReduce Job操作
提交MapReduce Job
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的Job
假设Job_Id为:job_201005310937_0053
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多,可以按照如下的方式获取命令的说明信息。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop
我们可以看到更多命令的说明信息:

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME <src>* <dest> create a hadoop archive
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
PHP 相关文章推荐
MySQL GBK→UTF-8编码转换
May 24 PHP
php+mysql开源XNA 聚合程序发布 下载
Jul 13 PHP
php设计模式 Bridge (桥接模式)
Jun 26 PHP
基于curl数据采集之单页面并行采集函数get_htmls的使用
Apr 28 PHP
解析PHPExcel使用的常用说明以及把PHPExcel整合进CI框架的介绍
Jun 24 PHP
PHP禁止个别IP访问网站
Oct 30 PHP
PHP 字符串长度判断效率更高的方法
Mar 02 PHP
PHP5.3以上版本安装ZendOptimizer扩展
Mar 27 PHP
php正则替换处理HTML页面的方法
Jun 17 PHP
基于CakePHP实现的简单博客系统实例
Jun 28 PHP
php微信公众号开发模式详解
Nov 28 PHP
PHP按一定比例压缩图片的方法
Oct 12 PHP
hadoop常见错误以及处理方法详解
Jun 19 #PHP
php常用Output和ptions/Info函数集介绍
Jun 19 #PHP
解析PHP中的正则表达式以及模式匹配
Jun 19 #PHP
php无限分类且支持输出树状图的详细介绍
Jun 19 #PHP
Android ProgressBar进度条和ProgressDialog进度框的展示DEMO
Jun 19 #PHP
具有时效性的php加密解密函数代码
Jun 19 #PHP
一个简单的php加密解密函数(动态加密)
Jun 19 #PHP
You might like
一条久听不愿放下的DIY森海MX500,三言两语话神奇
2021/03/02 无线电
php异常处理技术,顶级异常处理器
2012/06/13 PHP
PHP实现加强版加密解密类实例
2015/07/29 PHP
php+mysql+jquery实现日历签到功能
2017/02/27 PHP
PHP使用正则表达式实现过滤非法字符串功能示例
2018/06/04 PHP
优秀js开源框架-jQuery使用手册(1)
2007/03/10 Javascript
基于jquery的文本框与autocomplete结合使用(asp.net+json)
2012/05/30 Javascript
使用apply方法处理数组的三个技巧[译]
2012/09/20 Javascript
javascript 应用小技巧方法汇总
2015/07/05 Javascript
jQuery原生的动画效果
2015/07/10 Javascript
JavaScript判断FileUpload控件上传文件类型
2015/09/28 Javascript
详解Nodejs之静态资源处理
2017/06/05 NodeJs
5分钟打造简易高效的webpack常用配置
2017/07/04 Javascript
js实现方块上下左右移动效果
2017/08/17 Javascript
利用three.js画一个3D立体的正方体示例代码
2017/11/19 Javascript
js循环map 获取所有的key和value的实现代码(json)
2018/05/09 Javascript
vue实现父子组件之间的通信以及兄弟组件的通信功能示例
2019/01/29 Javascript
微信小程序第三方框架对比 之 wepy / mpvue / taro
2019/04/10 Javascript
微信小程序环境下将文件上传到OSS的方法步骤
2019/05/31 Javascript
webpack4之如何编写loader的方法步骤
2019/06/06 Javascript
基于JS正则表达式实现模板数据动态渲染(实现思路详解)
2020/03/07 Javascript
关于vue3默认把所有onSomething当作v-on事件绑定的思考
2020/05/15 Javascript
vue+Element-ui实现登录注册表单
2020/11/17 Javascript
用Python编写一个简单的FUSE文件系统的教程
2015/04/02 Python
从零开始学Python第八周:详解网络编程基础(socket)
2016/12/14 Python
python爬虫面试宝典(常见问题)
2018/03/02 Python
使用pytorch进行图像的顺序读取方法
2018/07/27 Python
Python写一个基于MD5的文件监听程序
2019/03/11 Python
python实现邮件发送功能
2019/08/10 Python
详谈tensorflow gfile文件的用法
2020/02/05 Python
tensorflow基于CNN实战mnist手写识别(小白必看)
2020/07/20 Python
pycharm激活码2020最新分享适用pycharm2020最新版亲测可用
2020/11/22 Python
EJB timer的种类
2014/10/28 面试题
秋季运动会活动方案
2014/02/05 职场文书
《中国梦我的梦》大学生演讲稿
2014/08/20 职场文书
追悼会答谢词范文
2015/09/29 职场文书