Elasticsearch6.2服务器升配后的bug(避坑指南)


Posted in Servers onSeptember 23, 2022

本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。

一、问题描述

升级后出现的异常如下:

出现限流日志:stop throttling indexing: numMergesInFlight=8, maxNumMerges=9应用写入集群的rt耗时变高,同时集群监控的indexing的时长也变高mlocked的内存调用一直在增长

Elasticsearch6.2服务器升配后的bug(避坑指南)

二、升级过程升配前

ES version:6.2.4

配置:32C64G

环境:阿里云ecs自建

gc:cms

jvm:30GB

升配后

ES version:6.2.4

配置:64C128G

环境:阿里云ecs自建

gc:cms

jvm:30GB

三、处理步骤

升配之后第二天首先应用表现出异常,写入ES的耗时变高了好十几倍,从40ms上升到600ms;升配导致集群变慢还是头一次遇到。通过对集群监控分析集群整体负载正常比升配之前有所下降,但是indexing的写入耗时监控确实比升配之前增长了很多。在ES的输出日志中出现了异常日志"stop throttling indexing: numMergesInFlight=8, maxNumMerges=9";

1.限流处理

当时怀疑应该是这个限流导致,ES的限流的主要目的是出于对集群的保护避免产生过多的段影响性能,说白了就是段的合并跟不上写入的速度,所以先来解决这个限流的问题,

由于配置文件没有配置最大线程数和最大的合并线程数,所以这两个值是用的是默认值

Spinning media has a harder time with concurrent I/O, so we need to decrease the number of threads that can concurrently access the disk per index. This setting will allow max_thread_count + 2 threads to operate on the disk at one time, so a setting of 1 will allow three threads.

index.merge.scheduler.max_thread_count
The maximum number of threads on a single shard that may be merging at once. Defaults to Math.max(1, Math.min(4, Runtime.getRuntime().availableProcessors() / 2)) which works well for a good solid-state-disk (SSD). If your index is on spinning platter drives instead, decrease this to 1.

Elasticsearch6.2服务器升配后的bug(避坑指南)

注意:在6.x版本之后已经取消了"indices.store.throttle.max_bytes_per_sec",所以现在只能通过调整max_thread_count,max_merge_count,默认max_thread_count最小是1最大是4,如果是机械盘推荐设1如果是ssd盘可以设成4或者更高,max_merge_count默认等于max_thread_count+5,也可以单独设置

可以通过命令查看默认的集群参数配置:

GET _settings/?include_defaults

可以配置到配置文件当中,也可以通过以下命令针对索引进行动态设置:

PUT index_name/_settings 
{
    "index.merge.scheduler.max_thread_count": 4,
    "index.merge.scheduler.max_merge_count": 20
}

2.mlock

通过修改线程数之后,限流的问题解决了,但是应用的写入rt耗时问题还是没有得到解决 。通过对"hot_threads"进行分析发现主要的耗时还是在merge和index两大块,并且通过os层面的监控发现mlock的占用内存一直在增长,启动参数配置文件设置在内存锁定“bootstrap.memory_lock: true”不明白为什么还会出现mlock的增长。

处理办法:

将硬件配置降回到32C64G问题解决,增加一副本来提升查询性能

3、总结

经过3天问题排查,网上也没有找到类似的案例,网上更多的还是限流相关的案例,总结下来应该还是当前版本对于大内存的处理相关的bug,在7.x版本没有出现类似的内存问题

到此这篇关于Elasticsearch6.2服务器升配后的bug的文章就介绍到这了,更多相关Elasticsearch6.2服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
Nginx访问日志及错误日志参数说明
Mar 31 Servers
配置nginx 重定向到系统维护页面
Jun 08 Servers
Windows下用Nginx配置https服务器及反向代理的问题
Sep 25 Servers
nginx负载功能+nfs服务器功能解析
Feb 28 Servers
阿里云日志过滤器配置日志服务
Apr 09 Servers
Windows Server 2012 修改远程默认端口3389的方法
Apr 28 Servers
Windows Server 2012 R2 磁盘分区教程
Apr 29 Servers
服务器SVN搭建图文安装过程
Jun 21 Servers
Linux中sftp常用命令整理
Jun 28 Servers
Docker部署Mysql8的实现步骤
Jul 07 Servers
Linux中一对多配置日志服务器的详细步骤
Jul 23 Servers
Shell中的单中括号和双中括号的用法详解
Dec 24 Servers
Zabbix6通过ODBC方式监控Oracle 19C的详细过程
Sep 23 #Servers
源码安装apache脚本部署过程详解
Sep 23 #Servers
教你使用Ubuntu搭建DNS服务器
Sep 23 #Servers
windows server2012 R2下安装PaddleOCR服务的的详细步骤
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 #Servers
服务器nginx权限被拒绝解决案例
Sep 23 #Servers
Fluentd搭建日志收集服务
Sep 23 #Servers
You might like
便携利器 — TECSUN PL-365简评
2021/03/02 无线电
php数组函数序列 之array_count_values() 统计数组中所有值出现的次数函数
2011/10/29 PHP
浅析PHP程序设计中的MVC编程思想
2014/07/28 PHP
linux下编译安装memcached服务
2014/08/03 PHP
Smarty中的注释和截断功能介绍
2015/04/09 PHP
PHP双向链表定义与用法示例
2018/01/31 PHP
laravel 创建命令行命令的图文教程
2019/10/23 PHP
Jquery 组合form元素为json格式,asp.net反序列化
2009/07/09 Javascript
js post方式传递提交的实现代码
2010/05/31 Javascript
javascript实现的DES加密示例
2013/10/30 Javascript
jquery的map与get方法详解
2013/11/04 Javascript
javascript 获取函数形参个数
2014/07/31 Javascript
用JavaScript实现用一个DIV来包装文本元素节点
2014/09/09 Javascript
JS动态显示表格上下frame的方法
2015/03/31 Javascript
详解js中构造流程图的核心技术JsPlumb(2)
2015/12/08 Javascript
基于jQuery下拉选择框插件支持单选多选功能代码
2016/06/07 Javascript
jquery 判断selection range 是否在容器中的简单实例
2016/08/02 Javascript
js 转json格式的字符串为对象或数组(前后台)的方法
2016/11/02 Javascript
使用jQuery实现鼠标点击左右按钮滑动切换
2017/08/04 jQuery
vscode 开发Vue项目的方法步骤
2018/11/25 Javascript
详解vue-cli+element-ui树形表格(多级表格折腾小计)
2019/04/17 Javascript
详解微信小程序-canvas绘制文字实现自动换行
2019/04/26 Javascript
使用Python的Flask框架构建大型Web应用程序的结构示例
2016/06/04 Python
Python2.7.10以上pip更新及其他包的安装教程
2018/06/12 Python
python实现的发邮件功能示例
2019/09/11 Python
通过实例解析python描述符原理作用
2020/01/22 Python
基于pycharm实现批量修改变量名
2020/06/02 Python
Daisy London官网:英国最大的首饰集团IBB旗下
2019/02/28 全球购物
《商鞅南门立木》教学反思
2014/02/16 职场文书
《一株紫丁香》教学反思
2014/02/19 职场文书
平面设计求职信
2014/03/10 职场文书
经典商业广告词
2014/03/13 职场文书
红领巾心向党演讲稿
2014/09/10 职场文书
2014年党的群众路线学习心得体会
2014/11/05 职场文书
2015年保安个人工作总结
2015/04/02 职场文书
医院消毒隔离制度
2015/08/05 职场文书