Elasticsearch6.2服务器升配后的bug(避坑指南)


Posted in Servers onSeptember 23, 2022

本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。

一、问题描述

升级后出现的异常如下:

出现限流日志:stop throttling indexing: numMergesInFlight=8, maxNumMerges=9应用写入集群的rt耗时变高,同时集群监控的indexing的时长也变高mlocked的内存调用一直在增长

Elasticsearch6.2服务器升配后的bug(避坑指南)

二、升级过程升配前

ES version:6.2.4

配置:32C64G

环境:阿里云ecs自建

gc:cms

jvm:30GB

升配后

ES version:6.2.4

配置:64C128G

环境:阿里云ecs自建

gc:cms

jvm:30GB

三、处理步骤

升配之后第二天首先应用表现出异常,写入ES的耗时变高了好十几倍,从40ms上升到600ms;升配导致集群变慢还是头一次遇到。通过对集群监控分析集群整体负载正常比升配之前有所下降,但是indexing的写入耗时监控确实比升配之前增长了很多。在ES的输出日志中出现了异常日志"stop throttling indexing: numMergesInFlight=8, maxNumMerges=9";

1.限流处理

当时怀疑应该是这个限流导致,ES的限流的主要目的是出于对集群的保护避免产生过多的段影响性能,说白了就是段的合并跟不上写入的速度,所以先来解决这个限流的问题,

由于配置文件没有配置最大线程数和最大的合并线程数,所以这两个值是用的是默认值

Spinning media has a harder time with concurrent I/O, so we need to decrease the number of threads that can concurrently access the disk per index. This setting will allow max_thread_count + 2 threads to operate on the disk at one time, so a setting of 1 will allow three threads.

index.merge.scheduler.max_thread_count
The maximum number of threads on a single shard that may be merging at once. Defaults to Math.max(1, Math.min(4, Runtime.getRuntime().availableProcessors() / 2)) which works well for a good solid-state-disk (SSD). If your index is on spinning platter drives instead, decrease this to 1.

Elasticsearch6.2服务器升配后的bug(避坑指南)

注意:在6.x版本之后已经取消了"indices.store.throttle.max_bytes_per_sec",所以现在只能通过调整max_thread_count,max_merge_count,默认max_thread_count最小是1最大是4,如果是机械盘推荐设1如果是ssd盘可以设成4或者更高,max_merge_count默认等于max_thread_count+5,也可以单独设置

可以通过命令查看默认的集群参数配置:

GET _settings/?include_defaults

可以配置到配置文件当中,也可以通过以下命令针对索引进行动态设置:

PUT index_name/_settings 
{
    "index.merge.scheduler.max_thread_count": 4,
    "index.merge.scheduler.max_merge_count": 20
}

2.mlock

通过修改线程数之后,限流的问题解决了,但是应用的写入rt耗时问题还是没有得到解决 。通过对"hot_threads"进行分析发现主要的耗时还是在merge和index两大块,并且通过os层面的监控发现mlock的占用内存一直在增长,启动参数配置文件设置在内存锁定“bootstrap.memory_lock: true”不明白为什么还会出现mlock的增长。

处理办法:

将硬件配置降回到32C64G问题解决,增加一副本来提升查询性能

3、总结

经过3天问题排查,网上也没有找到类似的案例,网上更多的还是限流相关的案例,总结下来应该还是当前版本对于大内存的处理相关的bug,在7.x版本没有出现类似的内存问题

到此这篇关于Elasticsearch6.2服务器升配后的bug的文章就介绍到这了,更多相关Elasticsearch6.2服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
Nginx + consul + upsync 完成动态负载均衡的方法详解
Mar 31 Servers
nginx作grpc的反向代理踩坑总结
Jul 07 Servers
Apache POI的基本使用详解
Nov 07 Servers
Nginx下SSL证书安装部署步骤介绍
Dec 06 Servers
CentOS下安装Jenkins的完整步骤
Apr 07 Servers
nginx.conf配置文件结构小结
Apr 08 Servers
Nginx配置根据url参数重定向
Apr 11 Servers
Linux中如何安装并部署Redis
Apr 18 Servers
nginx实现多geoserver服务的负载均衡
May 15 Servers
vscode内网访问服务器的方法
Jun 28 Servers
源码安装apache脚本部署过程详解
Sep 23 Servers
CentOS7 minimal 最小化安装网络设置过程
Dec 24 Servers
Zabbix6通过ODBC方式监控Oracle 19C的详细过程
Sep 23 #Servers
源码安装apache脚本部署过程详解
Sep 23 #Servers
教你使用Ubuntu搭建DNS服务器
Sep 23 #Servers
windows server2012 R2下安装PaddleOCR服务的的详细步骤
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 #Servers
服务器nginx权限被拒绝解决案例
Sep 23 #Servers
Fluentd搭建日志收集服务
Sep 23 #Servers
You might like
PHP类中Static方法效率测试代码
2010/10/17 PHP
PHP生成数组再传给js的方法
2014/08/07 PHP
PHP实现的进度条效果详解
2016/05/03 PHP
PHP基于Redis消息队列实现发布微博的方法
2017/05/03 PHP
Laravel框架搜索分页功能示例
2019/02/01 PHP
对google个性主页的拖拽效果的js的完整注释[转]
2007/04/10 Javascript
重载toString实现JS HashMap分析
2011/03/13 Javascript
用jquery存取照片的具体实现方法
2013/06/30 Javascript
javascript实现网页子页面遍历回调的方法(涉及 window.frames、递归函数、函数上下文)
2015/07/27 Javascript
JS实现点击按钮获取页面高度的方法
2015/11/02 Javascript
使用HTML5+Boostrap打造简单的音乐播放器
2016/08/05 Javascript
基于vuejs+webpack的日期选择插件
2020/05/21 Javascript
vue-cli如何添加less 以及sass
2017/07/06 Javascript
Vue2.0 多 Tab切换组件的封装实例
2017/07/28 Javascript
jQuery代码优化方法总结
2018/01/29 jQuery
Nodejs实现用户注册功能
2019/04/14 NodeJs
在vue-cli 3中给stylus、sass样式传入共享的全局变量
2019/08/12 Javascript
[48:37]EG vs OG 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/18 DOTA
[51:32]Optic vs Serenity 2018国际邀请赛淘汰赛BO3 第一场 8.22
2018/08/23 DOTA
用Python解析XML的几种常见方法的介绍
2015/04/09 Python
python实现实时监控文件的方法
2016/08/26 Python
python numpy 一维数组转变为多维数组的实例
2018/07/02 Python
Python的UTC时间转换讲解
2019/02/26 Python
Python批量查询关键词微信指数实例方法
2019/06/27 Python
python with语句的原理与用法详解
2020/03/30 Python
python实现xlwt xlrd 指定条件给excel行添加颜色
2020/07/14 Python
详解python3类型注释annotations实用案例
2021/01/20 Python
路易威登和香奈儿手袋:LuxeDH
2017/01/12 全球购物
伦敦剧院门票:From The Box Office
2018/06/30 全球购物
联想西班牙官网:Lenovo西班牙
2018/08/28 全球购物
2014年创卫实施方案
2014/02/18 职场文书
党员弘扬焦裕禄精神思想汇报
2014/09/10 职场文书
2015年班干部工作总结
2015/04/29 职场文书
幼儿园庆六一主持词
2015/06/30 职场文书
高中生物教学反思
2016/02/20 职场文书
《LOL》“克隆大作战”久违归来 幻灵战队皮肤上线
2022/04/03 其他游戏