hadoop常见错误以及处理方法详解


Posted in PHP onJune 19, 2013

1、hadoop-root-datanode-master.log 中有如下错误:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令

hadoop namenode -format 

2、如果datanode连接不上namenode,导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
service iptables stop

机器重启后,防火墙还会开启。

3、从本地往hdfs文件系统上传文件,出现如下错误:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法:
关闭防火墙:

service iptables stop

禁用selinux:
编辑 /etc/selinux/config文件,设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

hadoop dfsadmin -safemode leave

关闭安全模式
PHP 相关文章推荐
一个目录遍历函数
Oct 09 PHP
用PHP中的 == 运算符进行字符串比较
Nov 26 PHP
备份mysql数据库的php代码(一个表一个文件)
May 28 PHP
phpmailer发送gmail邮件实例详解
Jun 24 PHP
php过滤所有恶意字符(批量过滤post,get敏感数据)
Mar 18 PHP
修改destoon会员公司的伪静态中的com目录的方法
Aug 21 PHP
php保存二进制原始数据为图片的程序代码
Oct 14 PHP
php绘制一条直线的方法
Jan 24 PHP
php从文件夹随机读取文件的方法
Jun 01 PHP
Yii2汉字转拼音类的实例代码
Apr 18 PHP
php-msf源码详解
Dec 25 PHP
利用PHP如何统计Nginx日志的User Agent数据
Mar 06 PHP
php常用Output和ptions/Info函数集介绍
Jun 19 #PHP
解析PHP中的正则表达式以及模式匹配
Jun 19 #PHP
php无限分类且支持输出树状图的详细介绍
Jun 19 #PHP
Android ProgressBar进度条和ProgressDialog进度框的展示DEMO
Jun 19 #PHP
具有时效性的php加密解密函数代码
Jun 19 #PHP
一个简单的php加密解密函数(动态加密)
Jun 19 #PHP
慎用preg_replace危险的/e修饰符(一句话后门常用)
Jun 19 #PHP
You might like
PHP的FTP学习(二)
2006/10/09 PHP
php在多维数组中根据键名快速查询其父键以及父键值的代码
2011/05/07 PHP
通过5个php实例细致说明传值与传引用的区别
2012/08/08 PHP
smarty获得当前url的方法分享
2014/02/14 PHP
使用php转义输出HTML到JavaScript
2015/03/27 PHP
php使用Jpgraph创建柱状图展示年度收支表效果示例
2017/02/15 PHP
JqGrid web打印实现代码
2011/05/31 Javascript
郁闷!ionic中获取ng-model绑定的值为undefined如何解决
2016/08/27 Javascript
浅谈jquery.form.js的ajaxSubmit和ajaxForm的使用
2016/09/09 Javascript
实例讲解JavaScript中call、apply、bind方法的异同
2016/09/13 Javascript
Javascript中判断一个值是否为undefined的方法详解
2016/09/28 Javascript
javascript的几种写法总结
2016/09/30 Javascript
基于javascript实现最简单选项卡切换
2017/02/01 Javascript
vuejs开发组件分享之H5图片上传、压缩及拍照旋转的问题处理
2017/03/06 Javascript
js如何获取网页所有图片
2017/05/12 Javascript
JavaScript代码实现txt文件的上传预览功能
2018/03/27 Javascript
浅谈vue父子组件怎么传值
2018/07/21 Javascript
Js 利用正则表达式和replace函数获取string中所有被匹配到的文本(推荐)
2018/10/28 Javascript
vue + typescript + 极验登录验证的实现方法
2019/06/27 Javascript
[02:53]DOTA2英雄基础教程 山岭巨人小小
2013/12/09 DOTA
Python遍历文件夹和读写文件的实现方法
2017/05/10 Python
matlab中实现矩阵删除一行或一列的方法
2018/04/04 Python
numpy添加新的维度:newaxis的方法
2018/08/02 Python
python游戏地图最短路径求解
2019/01/16 Python
简单分析python的类变量、实例变量
2019/08/23 Python
Python如何将字符串转换为日期
2020/07/31 Python
Python3+Appium安装及Appium模拟微信登录方法详解
2021/02/16 Python
html5组织文档结构_动力节点Java学院整理
2017/07/11 HTML / CSS
英国最大的专业户外零售商:Mountain Warehouse
2018/06/06 全球购物
美国婴儿和儿童服装购物网站:PatPat
2020/10/01 全球购物
商务主管岗位职责
2013/12/08 职场文书
金融保险专业求职信
2014/09/03 职场文书
大学生见习报告总结
2014/11/04 职场文书
2015年企业工作总结范文
2015/04/28 职场文书
《中华上下五千年》读后感3篇
2019/11/29 职场文书
Mysql中存储引擎的区别及比较
2021/06/04 MySQL