hadoop常见错误以及处理方法详解


Posted in PHP onJune 19, 2013

1、hadoop-root-datanode-master.log 中有如下错误:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令

hadoop namenode -format 

2、如果datanode连接不上namenode,导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
service iptables stop

机器重启后,防火墙还会开启。

3、从本地往hdfs文件系统上传文件,出现如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙:

service iptables stop

禁用selinux:
编辑 /etc/selinux/config文件,设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

hadoop dfsadmin -safemode leave

关闭安全模式
PHP 相关文章推荐
php 模拟POST提交的2种方法详解
Jun 17 PHP
php生成EAN_13标准条形码实例
Nov 13 PHP
php导入csv文件碰到乱码问题的解决方法
Feb 10 PHP
php使用explode()函数将字符串拆分成数组的方法
Feb 17 PHP
php中将一个对象保存到Session中的方法
Mar 13 PHP
PHP之预定义接口详解
Jul 29 PHP
优化WordPress的Google字体以加速国内服务器上的运行
Nov 24 PHP
PHP Socket网络操作类定义与用法示例
Aug 30 PHP
PHP设计模式之状态模式定义与用法详解
Apr 02 PHP
PHP封装类似thinkphp连贯操作数据库Db类与简单应用示例
May 08 PHP
PHP封装请求类实例分析【基于Yii框架】
Oct 17 PHP
php 比较获取两个数组相同和不同元素的例子(交集和差集)
Oct 18 PHP
php常用Output和ptions/Info函数集介绍
Jun 19 #PHP
解析PHP中的正则表达式以及模式匹配
Jun 19 #PHP
php无限分类且支持输出树状图的详细介绍
Jun 19 #PHP
Android ProgressBar进度条和ProgressDialog进度框的展示DEMO
Jun 19 #PHP
具有时效性的php加密解密函数代码
Jun 19 #PHP
一个简单的php加密解密函数(动态加密)
Jun 19 #PHP
慎用preg_replace危险的/e修饰符(一句话后门常用)
Jun 19 #PHP
You might like
肝肠寸断了解下!盘点史上最伤心的十大动漫
2020/03/04 日漫
学习php中的正则表达式
2014/08/17 PHP
php发送html格式文本邮件的方法
2015/06/10 PHP
在IE 浏览器中使用 jquery的fadeIn() 效果 英文字符字体加粗
2011/06/02 Javascript
Js与下拉列表处理问题解决
2014/02/13 Javascript
Javascript数组操作函数总结
2015/02/05 Javascript
ECMAScript6中Set/WeakSet详解
2015/06/12 Javascript
javascript简单实现类似QQ头像弹出效果的方法
2015/08/03 Javascript
javascript判断复选框是否选中的方法
2015/10/16 Javascript
判断数组是否包含某个元素的js函数实现方法
2016/05/19 Javascript
HTML5 canvas 9绘制图片实例详解
2016/09/06 Javascript
COM组件中调用JavaScript函数详解及实例
2017/02/23 Javascript
深入剖析JavaScript instanceof 运算符
2019/06/14 Javascript
vue实现瀑布流组件滑动加载更多
2020/03/10 Javascript
python中ConfigParse模块的用法
2014/09/29 Python
浅谈Django学习migrate和makemigrations的差别
2018/01/18 Python
python实现超简单的视频对象提取功能
2018/06/04 Python
python3.7 openpyxl 删除指定一列或者一行的代码
2019/10/08 Python
pd.DataFrame统计各列数值多少的实例
2019/12/05 Python
Python 余弦相似度与皮尔逊相关系数 计算实例
2019/12/23 Python
tensorflow 固定部分参数训练,只训练部分参数的实例
2020/01/20 Python
Python的pygame安装教程详解
2020/02/10 Python
python 装饰器功能与用法案例详解
2020/03/06 Python
澳大利亚吉他在线:Artist Guitars
2017/03/30 全球购物
美国宠物美容和宠物用品购物网站:Cherrybrook
2018/12/07 全球购物
Ashford台湾:以折扣价提供奢华的男女用表款
2019/12/04 全球购物
欧洲著名的二手奢侈品网站:Vestiaire Collective
2020/03/07 全球购物
销售代表求职自荐信
2013/10/01 职场文书
药学专业大学生个人的自我评价
2013/11/04 职场文书
自荐信格式
2013/12/01 职场文书
12岁生日感言
2014/01/21 职场文书
体育系毕业生自荐信
2014/06/28 职场文书
2014年转正工作总结
2014/11/08 职场文书
2014工程部年度工作总结
2014/12/17 职场文书
负责培养人意见
2015/06/05 职场文书
文案策划岗位个人自我评价(范文)
2019/08/08 职场文书