hadoop中一些常用的命令介绍


Posted in PHP onJune 19, 2013

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
启动Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/start-all.sh

关闭Hadoop
1.进入HADOOP_HOME目录。
2.执行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。

查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -lsr /user/admin/aaron

创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs -rmr /user/admin/aaron

上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?put /home/admin/newFile /user/admin/aaron/

下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?get /user/admin/aaron/newFile /home/admin/newFile

查看文件
我们可以直接在hdfs中直接查看文件,功能与类是cat类似
查看hdfs中/user/admin/aaron目录下的newFile文件
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop fs ?cat /home/admin/newFile

MapReduce Job操作
提交MapReduce Job
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的Job
假设Job_Id为:job_201005310937_0053
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop job -kill job_201005310937_0053

更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多,可以按照如下的方式获取命令的说明信息。
1.进入HADOOP_HOME目录。
2.执行sh bin/hadoop
我们可以看到更多命令的说明信息:

Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  datanode             run a DFS datanode
  dfsadmin             run a DFS admin client
  fsck                 run a DFS filesystem checking utility
  fs                   run a generic filesystem user client
  balancer             run a cluster balancing utility
  jobtracker           run the MapReduce job Tracker node
  pipes                run a Pipes job
  tasktracker          run a MapReduce task Tracker node
  job                  manipulate MapReduce jobs
  queue                get information regarding JobQueues
  version              print the version
  jar <jar>            run a jar file
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME <src>* <dest> create a hadoop archive
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
PHP 相关文章推荐
PHP 和 XML: 使用expat函数(三)
Oct 09 PHP
PHP 处理图片的类实现代码
Oct 23 PHP
php checkbox 取值详细说明
Aug 19 PHP
PHP详解ASCII码对照表与字符转换
Dec 05 PHP
php MessagePack介绍
Oct 06 PHP
PHP实现的带超时功能get_headers函数
Feb 10 PHP
PHP函数实现从一个文本字符串中提取关键字的方法
Jul 01 PHP
php利用gd库为图片添加水印
Nov 09 PHP
PHP获取redis里不存在的6位随机数应用示例【设置24小时过时】
Jun 07 PHP
thinkphp5框架扩展redis类方法示例
May 06 PHP
PHP结合Redis+MySQL实现冷热数据交换应用案例详解
Jul 09 PHP
基于PHP实现用户在线状态检测
Nov 10 PHP
hadoop常见错误以及处理方法详解
Jun 19 #PHP
php常用Output和ptions/Info函数集介绍
Jun 19 #PHP
解析PHP中的正则表达式以及模式匹配
Jun 19 #PHP
php无限分类且支持输出树状图的详细介绍
Jun 19 #PHP
Android ProgressBar进度条和ProgressDialog进度框的展示DEMO
Jun 19 #PHP
具有时效性的php加密解密函数代码
Jun 19 #PHP
一个简单的php加密解密函数(动态加密)
Jun 19 #PHP
You might like
访问编码后的中文URL返回404错误的解决方法
2014/08/20 PHP
PHP使用curl函数发送Post请求的注意事项
2016/11/26 PHP
PDO::commit讲解
2019/01/27 PHP
为数据添加append,remove功能
2006/10/03 Javascript
document.all与WEB标准
2020/05/13 Javascript
让网页根据不同IE版本显示不同的内容
2009/02/08 Javascript
JavaScript 原型与继承说明
2010/06/09 Javascript
jQuery制作可自定义大小的拼图游戏
2015/03/30 Javascript
JavaScript实现动态增删表格的方法
2017/03/09 Javascript
使用canvas进行图像编辑的实例
2017/08/29 Javascript
JavaScript callback回调函数用法实例分析
2018/05/08 Javascript
javascript实现对话框功能警告(alert 消息对话框)确认(confirm 消息对话框)
2019/05/07 Javascript
js时间转换毫秒的实例代码
2019/08/21 Javascript
vue新建项目并配置标准路由过程解析
2019/12/09 Javascript
vue 中的 render 函数作用详解
2020/02/28 Javascript
Vue-router 报错NavigationDuplicated的解决方法
2020/03/31 Javascript
三剑客:offset、client和scroll还傻傻分不清?
2020/12/04 Javascript
Python 代码性能优化技巧分享
2012/08/07 Python
Python3基础之list列表实例解析
2014/08/13 Python
python得到windows自启动列表的方法
2018/10/14 Python
python 高效去重复 支持GB级别大文件的示例代码
2018/11/08 Python
Python函数基本使用原理详解
2020/03/19 Python
Python爬虫如何破解JS加密的Cookie
2020/11/19 Python
python 实现有道翻译功能
2021/02/26 Python
html5+css3之动画在webapp中的应用
2014/11/21 HTML / CSS
CSS3媒体查询Media Queries基础学习教程
2016/02/29 HTML / CSS
类、抽象类、接口的差异
2016/06/13 面试题
什么是JNDI的上下文?如何初始化JNDI上下文
2012/03/10 面试题
安全在我心中演讲稿
2014/09/01 职场文书
农村文化建设标语
2014/10/07 职场文书
售后服务承诺函格式
2015/01/21 职场文书
公务员年度个人总结
2015/02/12 职场文书
2019最新版劳务派遣管理制度
2019/08/16 职场文书
导游词之宿迁乾隆行宫
2019/10/15 职场文书
浅谈Python中的函数(def)及参数传递操作
2021/05/25 Python
Win11 Dev 预览版25174.1000发布 (附更新修复内容汇总)
2022/08/05 数码科技