hadoop常见错误以及处理方法详解


Posted in PHP onJune 19, 2013

1、hadoop-root-datanode-master.log 中有如下错误:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令

hadoop namenode -format 

2、如果datanode连接不上namenode,导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
service iptables stop

机器重启后,防火墙还会开启。

3、从本地往hdfs文件系统上传文件,出现如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙:

service iptables stop

禁用selinux:
编辑 /etc/selinux/config文件,设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

hadoop dfsadmin -safemode leave

关闭安全模式
PHP 相关文章推荐
利用php+mysql来做一个功能强大的在线计算器
Oct 12 PHP
php性能优化分析工具XDebug 大型网站调试工具
May 22 PHP
php学习笔记之 函数声明(二)
Jun 09 PHP
MongoDB在PHP中的常用操作小结
Feb 20 PHP
PHP中的命名空间相关概念浅析
Jan 22 PHP
分享50个提高PHP执行效率的技巧
Dec 26 PHP
使用PHP实现微信摇一摇周边红包
Jan 04 PHP
php高清晰度无损图片压缩功能的实现代码
Dec 09 PHP
PHP-FPM 设置多pool及配置文件重写操作示例
Oct 02 PHP
laravel csrf排除路由,禁止,关闭指定路由的例子
Oct 21 PHP
PHP使用PhpSpreadsheet操作Excel实例详解
Mar 26 PHP
PHP+MySql实现一个简单的留言板
Jul 19 PHP
php常用Output和ptions/Info函数集介绍
Jun 19 #PHP
解析PHP中的正则表达式以及模式匹配
Jun 19 #PHP
php无限分类且支持输出树状图的详细介绍
Jun 19 #PHP
Android ProgressBar进度条和ProgressDialog进度框的展示DEMO
Jun 19 #PHP
具有时效性的php加密解密函数代码
Jun 19 #PHP
一个简单的php加密解密函数(动态加密)
Jun 19 #PHP
慎用preg_replace危险的/e修饰符(一句话后门常用)
Jun 19 #PHP
You might like
海贼王:最美的悬赏令!
2020/03/02 日漫
thinkPHP简单实现多个子查询语句的方法
2016/12/05 PHP
老生常谈php 正则中的i,m,s,x,e分别表示什么
2017/03/02 PHP
PHP PDOStatement::bindParam讲解
2019/01/30 PHP
PHP实现计算器小功能
2020/08/28 PHP
jquery 插件开发方法小结
2009/10/23 Javascript
JQuery Ajax 跨域访问的解决方案
2010/03/12 Javascript
前台js调用后台方法示例
2013/12/02 Javascript
jquery让返回的内容显示在特定div里(代码少而精悍)
2014/06/23 Javascript
探讨js字符串数组拼接的性能问题
2014/10/11 Javascript
了不起的node.js读书笔记之node.js中的特性
2014/12/22 Javascript
一道面试题引发的对javascript类型转换的思考
2017/03/06 Javascript
原生JS实现导航下拉菜单效果
2020/11/25 Javascript
jQuery实现的鼠标滚轮控制图片缩放功能实例
2017/10/14 jQuery
详解javascript常用工具类的封装
2018/01/30 Javascript
Vue使用axios出现options请求方法
2019/05/30 Javascript
js简单遍历获取对象中的属性值的方法示例
2019/06/19 Javascript
jQuery层叠选择器用法实例分析
2019/06/28 jQuery
JS中的算法与数据结构之队列(Queue)实例详解
2019/08/20 Javascript
微信公众号服务器验证Token步骤图解
2019/12/30 Javascript
Vue的双向数据绑定实现原理解析
2020/02/17 Javascript
javascript中正则表达式语法详解
2020/08/07 Javascript
python 文件操作api(文件操作函数)
2016/08/28 Python
Python实现获取当前目录下文件名代码详解
2020/03/10 Python
python dict如何定义
2020/09/02 Python
Ubuntu权限不足无法创建文件夹解决方案
2020/11/14 Python
浅谈html5之sse服务器发送事件EventSource介绍
2017/08/28 HTML / CSS
物流毕业生个人的自我评价
2014/02/13 职场文书
测试工程师程序员求职信范文
2014/02/20 职场文书
法律专业求职信
2014/05/24 职场文书
合作意向书
2014/07/30 职场文书
暑期培训心得体会
2014/09/02 职场文书
就业协议书
2014/09/12 职场文书
小学同学聚会感言
2015/07/30 职场文书
青年教师听课心得体会
2016/01/15 职场文书
微前端qiankun改造日渐庞大的项目教程
2022/06/21 Javascript