Elasticsearch6.2服务器升配后的bug(避坑指南)


Posted in Servers onSeptember 23, 2022

本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。

一、问题描述

升级后出现的异常如下:

出现限流日志:stop throttling indexing: numMergesInFlight=8, maxNumMerges=9应用写入集群的rt耗时变高,同时集群监控的indexing的时长也变高mlocked的内存调用一直在增长

Elasticsearch6.2服务器升配后的bug(避坑指南)

二、升级过程升配前

ES version:6.2.4

配置:32C64G

环境:阿里云ecs自建

gc:cms

jvm:30GB

升配后

ES version:6.2.4

配置:64C128G

环境:阿里云ecs自建

gc:cms

jvm:30GB

三、处理步骤

升配之后第二天首先应用表现出异常,写入ES的耗时变高了好十几倍,从40ms上升到600ms;升配导致集群变慢还是头一次遇到。通过对集群监控分析集群整体负载正常比升配之前有所下降,但是indexing的写入耗时监控确实比升配之前增长了很多。在ES的输出日志中出现了异常日志"stop throttling indexing: numMergesInFlight=8, maxNumMerges=9";

1.限流处理

当时怀疑应该是这个限流导致,ES的限流的主要目的是出于对集群的保护避免产生过多的段影响性能,说白了就是段的合并跟不上写入的速度,所以先来解决这个限流的问题,

由于配置文件没有配置最大线程数和最大的合并线程数,所以这两个值是用的是默认值

Spinning media has a harder time with concurrent I/O, so we need to decrease the number of threads that can concurrently access the disk per index. This setting will allow max_thread_count + 2 threads to operate on the disk at one time, so a setting of 1 will allow three threads.

index.merge.scheduler.max_thread_count
The maximum number of threads on a single shard that may be merging at once. Defaults to Math.max(1, Math.min(4, Runtime.getRuntime().availableProcessors() / 2)) which works well for a good solid-state-disk (SSD). If your index is on spinning platter drives instead, decrease this to 1.

Elasticsearch6.2服务器升配后的bug(避坑指南)

注意:在6.x版本之后已经取消了"indices.store.throttle.max_bytes_per_sec",所以现在只能通过调整max_thread_count,max_merge_count,默认max_thread_count最小是1最大是4,如果是机械盘推荐设1如果是ssd盘可以设成4或者更高,max_merge_count默认等于max_thread_count+5,也可以单独设置

可以通过命令查看默认的集群参数配置:

GET _settings/?include_defaults

可以配置到配置文件当中,也可以通过以下命令针对索引进行动态设置:

PUT index_name/_settings 
{
    "index.merge.scheduler.max_thread_count": 4,
    "index.merge.scheduler.max_merge_count": 20
}

2.mlock

通过修改线程数之后,限流的问题解决了,但是应用的写入rt耗时问题还是没有得到解决 。通过对"hot_threads"进行分析发现主要的耗时还是在merge和index两大块,并且通过os层面的监控发现mlock的占用内存一直在增长,启动参数配置文件设置在内存锁定“bootstrap.memory_lock: true”不明白为什么还会出现mlock的增长。

处理办法:

将硬件配置降回到32C64G问题解决,增加一副本来提升查询性能

3、总结

经过3天问题排查,网上也没有找到类似的案例,网上更多的还是限流相关的案例,总结下来应该还是当前版本对于大内存的处理相关的bug,在7.x版本没有出现类似的内存问题

到此这篇关于Elasticsearch6.2服务器升配后的bug的文章就介绍到这了,更多相关Elasticsearch6.2服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx前后端同域名配置的方法实现
Mar 31 Servers
nginx location优先级的深入讲解
Mar 31 Servers
使用goaccess分析nginx日志的详细方法
Jul 09 Servers
Nginx配置https的实现
Nov 27 Servers
nginx负载功能+nfs服务器功能解析
Feb 28 Servers
深入解析Apache Hudi内核文件标记机制
Mar 31 Servers
Windows和Linux上部署Golang并运行程序
Apr 22 Servers
docker 制作mysql镜像并自动安装
May 20 Servers
Tomcat 与 maven 的安装与使用教程
Jun 16 Servers
Apache Kafka 分区重分配的实现原理解析
Jul 15 Servers
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 Servers
Zabbix6通过ODBC方式监控Oracle 19C的详细过程
Sep 23 #Servers
源码安装apache脚本部署过程详解
Sep 23 #Servers
教你使用Ubuntu搭建DNS服务器
Sep 23 #Servers
windows server2012 R2下安装PaddleOCR服务的的详细步骤
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 #Servers
服务器nginx权限被拒绝解决案例
Sep 23 #Servers
Fluentd搭建日志收集服务
Sep 23 #Servers
You might like
thinkPHP简单导入和使用阿里云OSSsdk的方法
2017/03/15 PHP
源码分析 Laravel 重复执行同一个队列任务的原因
2017/12/25 PHP
Yii框架学习笔记之session与cookie简单操作示例
2019/04/30 PHP
js 方法实现返回多个数据的代码
2009/04/30 Javascript
javascript用户注册提示效果的简单实例
2013/08/17 Javascript
JavaScript获取XML数据附示例截图
2014/03/05 Javascript
window.onload使用指南
2015/09/13 Javascript
jQuery实现form表单元素序列化为json对象的方法
2015/12/09 Javascript
老生常谈遮罩层 滚动条的问题
2016/04/29 Javascript
JS组件系列之Bootstrap table表格组件神器【二、父子表和行列调序】
2016/05/10 Javascript
基于jquery实现多选下拉列表
2017/08/02 jQuery
JS实现定时任务每隔N秒请求后台setInterval定时和ajax请求问题
2017/10/15 Javascript
vue 开发一个按钮组件的示例代码
2018/03/27 Javascript
JS实现的哈夫曼编码示例【原始版与修改版】
2018/04/22 Javascript
vue+element创建动态的form表单及动态生成表格的行和列
2019/05/20 Javascript
微信小程序解析富文本过程详解
2019/07/13 Javascript
Vue3.0数据响应式原理详解
2019/10/09 Javascript
highcharts.js数据绑定方式代码实例
2019/11/13 Javascript
python最长回文串算法
2018/06/04 Python
浅谈Pandas 排序之后索引的问题
2018/06/07 Python
python实现的Iou与Giou代码
2020/01/18 Python
Python项目跨域问题解决方案
2020/06/22 Python
python能否java成为主流语言吗
2020/06/22 Python
python基于pygame实现飞机大作战小游戏
2020/11/19 Python
Python爬虫后获取重定向url的两种方法
2021/01/19 Python
python 基于opencv去除图片阴影
2021/01/26 Python
HTML5的新特性(1)
2016/03/03 HTML / CSS
阿迪达斯丹麦官网:adidas丹麦
2016/10/01 全球购物
瑜伽国际:Yoga International
2018/04/18 全球购物
毕业生求职简历中的自我评价
2013/10/18 职场文书
工伤死亡理赔协议书
2014/10/20 职场文书
如何写新闻稿
2015/07/18 职场文书
大学入学感言
2015/08/01 职场文书
运动会口号霸气押韵
2015/12/24 职场文书
导游词之广西漓江
2019/11/02 职场文书
python自动化操作之动态验证码、滑动验证码的降噪和识别
2021/08/30 Python