编程 PHP

hadoop常见错误以及处理方法详解

Posted in PHP onJune 19, 2013

1、hadoop-root-datanode-master.log 中有如下错误：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令

hadoop namenode -format

2、如果datanode连接不上namenode，导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙

service iptables stop

机器重启后，防火墙还会开启。

3、从本地往hdfs文件系统上传文件，出现如下错误：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
解决方法：
关闭防火墙：

service iptables stop

禁用selinux:
编辑 /etc/selinux/config文件，设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

hadoop dfsadmin -safemode leave

关闭安全模式

hadoop常见错误以及处理方法详解

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

PHP 相关文章推荐

PHP set_time_limit(0)长连接的实现分析

Mar 02 PHP

PHP 图片文件上传实现代码

Dec 29 PHP

phpmail类发送邮件函数代码

Feb 20 PHP

PHP中::、-&gt;、self、$this几种操作符的区别介绍

Apr 24 PHP

php一维二维数组键排序方法实例总结

Nov 13 PHP

php mysqli查询语句返回值类型实例分析

Jun 29 PHP

[原创]php实现 data url的图片生成与保存

Dec 04 PHP

PHP延迟静态绑定的深入讲解

Apr 02 PHP

PHP实现 APP端微信支付功能

Jun 22 PHP

PHP操作Redis数据库常用方法示例

Aug 25 PHP

ThinkPHP框架实现FTP图片上传功能示例

Apr 08 PHP

Laravel 实现Eloquent模型分组查询并返回每个分组的数量 groupBy()

Oct 23 PHP

php常用Output和ptions/Info函数集介绍

Jun 19 #PHP

解析PHP中的正则表达式以及模式匹配

Jun 19 #PHP

php无限分类且支持输出树状图的详细介绍

Jun 19 #PHP

Android ProgressBar进度条和ProgressDialog进度框的展示DEMO

Jun 19 #PHP

具有时效性的php加密解密函数代码

Jun 19 #PHP

一个简单的php加密解密函数(动态加密)

Jun 19 #PHP

慎用preg_replace危险的/e修饰符(一句话后门常用)

Jun 19 #PHP

You might like

PHP中显示格式化的用户输入

2006/10/09 PHP

php入门教程之Zend Studio设置与开发实例

2016/09/09 PHP

PHP入门教程之日期与时间操作技巧总结(格式化,验证,获取,转换,计算等)

2016/09/11 PHP

常用一些Javascript判断函数

2012/08/14 Javascript

JS操作Cookies的小例子

2013/10/15 Javascript

jQuery实现点击文本框弹出热门标签的提示效果

2013/11/17 Javascript

javascript判断两个IP地址是否在同一个网段的实现思路

2013/12/13 Javascript

jquery 根据name名获取元素的value值

2015/02/27 Javascript

JavaScript 里的类数组对象

2015/04/08 Javascript

微信小程序 wx.request(object) API详解及实例代码

2016/09/30 Javascript

js实现符合国情的日期插件详解

2017/01/19 Javascript

前端把html表格生成为excel表格的实例

2017/09/19 Javascript

AngularJS中controller控制器继承的使用方法

2017/11/03 Javascript

深入剖析Express cookie-parser中间件实现示例

2018/02/01 Javascript

VueJs组件之父子通讯的方式

2018/05/06 Javascript

vue.js input框之间赋值方法

2018/08/24 Javascript

JS/CSS实现字符串单词首字母大写功能

2019/09/03 Javascript

基于JS实现简单滑块拼图游戏

2019/10/12 Javascript

vue-cli4使用全局less文件中的变量配置操作

2020/10/21 Javascript

初步认识Python中的列表与位运算符

2015/10/12 Python

Python多线程应用于自动化测试操作示例

2018/12/06 Python

Python异步操作MySQL示例【使用aiomysql】

2019/05/16 Python

Django自定义用户登录认证示例代码

2019/06/30 Python

python threading和multiprocessing模块基本用法实例分析

2019/07/25 Python

python打造爬虫代理池过程解析

2019/08/15 Python

python栈的基本定义与使用方法示例【初始化、赋值、入栈、出栈等】

2019/10/24 Python

python 定义类时,实现内部方法的互相调用

2019/12/25 Python

如何基于python实现归一化处理

2020/01/20 Python

联想阿根廷官方网站：Lenovo Argentina

2019/10/14 全球购物

博士研究生自我鉴定范文

2013/12/04 职场文书

学习雷锋活动总结

2014/04/29 职场文书

给学校建议书范文

2014/05/13 职场文书

房产公证书

2015/01/23 职场文书

微信小程序实现聊天室功能

2021/06/14 Javascript

MySQL中的隐藏列的具体查看

2021/09/04 MySQL

Nginx进程调度问题详解

2021/09/25 Servers