HDFS免重启挂载新磁盘


Posted in Servers onApril 06, 2022

在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。

问题

  • 磁盘空间不足,待扩容,可动态增删磁盘

  • yarn资源不足,待优化,可动态调整

本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。

官方说明

官方文档:DataNode Hot Swap Drive

DataNode Hot Swap Drive

Datanode supports hot swappable drives. The user can add or replace HDFS data volumes without shutting down the DataNode. The following briefly describes the typical hot swapping drive procedure:

  • If there are new storage directories, the user should format them and mount them appropriately.

  • The user updates the DataNode configuration dfs.datanode.data.dir to reflect the data volume directories that will be actively in use.

  • The user runs dfsadmin -reconfig datanode HOST:PORT start to start the reconfiguration process. The user can use dfsadmin -reconfig datanode HOST:PORT status to query the running status of the reconfiguration task.

  • Once the reconfiguration task has completed, the user can safely umount the removed data volume directories and physically remove the disks.

经过谷歌翻译如下:

DataNode 热插拔驱动器

Datanode 支持热插拔驱动器。用户可以在不关闭 DataNode 的情况下添加或替换 HDFS 数据卷。下面简要介绍典型的热插拔驱动器过程:

  • 如果有新的存储目录,用户应该格式化它们并适当地挂载它们。

  • 用户更新 DataNode 配置dfs.datanode.data.dir 以反映将被积极使用的数据卷目录。

  • 用户运行dfsadmin -reconfig datanode HOST:PORT start来启动重新配置过程。用户可以使用 dfsadmin -reconfig datanode HOST:PORT status 查询重配置任务的运行状态。

  • 重新配置任务完成后,用户可以安全地卸载已移除的数据卷目录并物理移除磁盘。

我们先说添加新的磁盘,大意就是不需要重启任何节点,在需要添加磁盘的节点上,添加好磁盘,这个需要运维操作,就是挂载一个新目录,文档中是说要配置DataNode的目录,这里我们建议加上NameNode的目录dfs.namenode.name.dir,然后再执行一个使配置生效的命令,最后查看配置状态。

具体操作

这里假设已有集群,需要加磁盘的节点为node2。运维也已经帮我们挂载好磁盘,新磁盘目录为/data2

第一步:新增目录

在node2上添加新目录,数据目录和元数据目录

mkdir -p /data2/soft/hadoop/tmp/dfs/data

mkdir -p /data2/soft/hadoop/tmp/dfs/name

第二步:修改配置

修改节点node2的配置文件hdfs-site.xml,主要两个属性

修改前

<!--指定hdfs中namenode的存储位置-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/soft/hadoop/tmp/dfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/soft/hadoop/tmp/dfs/data</value>
</property>

修改后

<!--指定hdfs中namenode的存储位置-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/soft/hadoop/tmp/dfs/name,/data2/soft/hadoop/tmp/dfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/soft/hadoop/tmp/dfs/data,/data2/soft/hadoop/tmp/dfs/data</value>
</property>

第三步:使配置生效

重新配置DataNode的配置,使配置生效。

hdfs dfsadmin -reconfig datanode node2:50020 start

hdfs dfsadmin -reconfig datanode node2:50020 status

第四步:平衡数据

HDFS数据本身并不总是均匀的放置在DataNode中,在添加新磁盘后,我们需要重新平衡下数据,HDFS为我们提供了一个工具,可以分析数据块放的位置和跨 DataNode 重新平衡数据:balancer

官方文档:hdfs balancer

hdfs balancer
    [-threshold <threshold>]:磁盘容量百分百,判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值,越小越平衡,默认10,越大平衡越快。
    [-policy <policy>]:datanode(默认):如果每个数据节点都是平衡的,则集群是平衡的。blockpool:如果每个数据节点中的每个块池都是平衡的,则集群是平衡的。
    [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]:将指定的数据节点排除在平衡器的平衡之外。
    [-include [-f <hosts-file> | <comma-separated list of hosts>]]:仅包括要由平衡器平衡的指定数据节点。
    [-idleiterations <idleiterations>]:rebalanecing server启动的线程数,默认5。

平衡前操作

在平衡时受带宽影响,每个数据节点每秒使用的最大字节数是有限的,所以我们先临时设置这个值,此值会覆盖hdfs-site.xml中dfs.datanode.balance.bandwidthPerSec的值,默认是1M,本操作命令不会持久,命令如下:

hdfs dfsadmin -setBalancerBandwidth 104857600

其他值:1024*1024=1M(1048576),52428800=50M,104857600=100M

开始平衡

本次执行平衡命令,磁盘平衡目标数为20 nohup hdfs balancer -threshold 20 > balancer.log &

其他平衡命令

平衡所有节点 nohup hdfs balancer > balancer.log &

平衡指定节点,磁盘平衡目标数为10 nohup hdfs balancer -include node7,node9,node10,node11 -threshold 10 > balancer.log &

平衡指定节点,磁盘平衡目标数,启动线程数为10 nohup hdfs balancer -include node7,node9,node10,node11 -threshold 10 -idleiterations 10 > balancer.log &

注(可选):一般在平衡时,可以先停止存储比较高的节点上的NodeManager,这样在该节点上就不会受本地NodeManager落数据到本地,使得本地存储迅速增加的影响。

yarn-daemon.sh stop nodemanager yarn-daemon.sh start nodemanager

更多关于HDFS免重启挂载新磁盘的文章请查看下面的相关链接

Servers 相关文章推荐
详解nginx.conf 中 root 目录设置问题
Apr 01 Servers
使用nginx配置访问wgcloud的方法
Jun 26 Servers
详解nginx location指令
Jan 18 Servers
OpenStack虚拟机快照和增量备份实现方法
Apr 04 Servers
openstack云计算keystone组件工作介绍
Apr 20 Servers
IIS服务器中设置HTTP重定向访问HTTPS
Apr 29 Servers
nginx lua 操作 mysql
May 15 Servers
安装harbor作为docker镜像仓库的问题
Jun 14 Servers
Tomcat 与 maven 的安装与使用教程
Jun 16 Servers
Windows Server 2022 超融合部署(图文教程)
Jun 25 Servers
vscode远程免密登入Linux服务器的配置方法
Jun 28 Servers
搭建zabbix监控以及邮件报警的超级详细教学
Jul 15 Servers
OpenStack虚拟机快照和增量备份实现方法
Apr 04 #Servers
使用Docker容器部署rocketmq单机的全过程
Apr 03 #Servers
教你使用Jenkins集成Harbor自动发布镜像
tomcat的catalina.out日志按自定义时间格式进行分割的操作方法
Apr 02 #Servers
为Centos安装指定版本的Docker
Apr 01 #Servers
Dashboard管理Kubernetes集群与API访问配置
Kubernetes中Deployment的升级与回滚
Apr 01 #Servers
You might like
smarty中js的调用方法示例
2014/10/27 PHP
Netbeans 8.2将支持PHP7 更精彩
2016/06/13 PHP
php 使用fopen函数创建、打开文件详解及实例代码
2016/09/24 PHP
js中使用DOM复制(克隆)指定节点名数据到新的XML文件中的代码
2011/07/27 Javascript
js控制CSS样式属性语法对照表
2012/12/11 Javascript
zTree插件之单选下拉菜单实例代码
2013/11/07 Javascript
js实现select跳转功能代码
2014/10/22 Javascript
jQuery实现鼠标划过添加和删除class的方法
2015/06/26 Javascript
javascript HTML+CSS实现经典橙色导航菜单
2016/02/16 Javascript
JS实现响应鼠标点击动画渐变弹出层效果代码
2016/03/25 Javascript
JavaScript中的原型继承基础学习教程
2016/05/06 Javascript
浅析Bootstrap表格的使用
2016/06/23 Javascript
Nodejs全局安装和本地安装的不同之处
2016/07/04 NodeJs
angularjs 实现带查找筛选功能的select下拉框实例
2017/01/11 Javascript
微信小程序自定义导航栏实例代码
2019/04/05 Javascript
Vuejs学习笔记之使用指令v-model完成表单的数据双向绑定
2019/04/29 Javascript
jQuery中DOM操作原则实例分析
2019/08/01 jQuery
微信小程序实现点击卡片 翻转效果
2019/09/04 Javascript
[43:41]OG vs Newbee 2019国际邀请赛淘汰赛 胜者组 BO3 第一场 8.21.mp4
2020/07/19 DOTA
[48:28]完美世界DOTA2联赛循环赛FTD vs Magma第二场 10月30日
2020/10/31 DOTA
Python使用MD5加密字符串示例
2014/08/22 Python
python递归函数绘制分形树的方法
2018/06/22 Python
Django权限设置及验证方式
2020/05/13 Python
实例讲解利用HTML5 Canvas API操作图形旋转的方法
2016/03/22 HTML / CSS
网络艺术零售业的先驱者:artrepublic
2017/09/26 全球购物
英国领先的运动营养品牌:Protein Dynamix
2018/01/02 全球购物
凌阳科技股份有限公司C++程序员面试题笔试题
2014/11/20 面试题
Java如何获得ResultSet的总行数
2016/09/03 面试题
商务英语大学生职业生涯规划书范文
2014/01/01 职场文书
聊城大学毕业生自荐书
2014/02/01 职场文书
个人股份转让协议书范本
2014/10/26 职场文书
三方股东合作协议书
2014/10/28 职场文书
道歉短信大全
2015/05/12 职场文书
党支部意见范文
2015/06/02 职场文书
SpringBoot实现异步事件驱动的方法
2021/06/28 Java/Android
详解使用内网穿透工具Ngrok代理本地服务
2022/03/31 Servers