Elasticsearch6.2服务器升配后的bug(避坑指南)


Posted in Servers onSeptember 23, 2022

本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。

一、问题描述

升级后出现的异常如下:

出现限流日志:stop throttling indexing: numMergesInFlight=8, maxNumMerges=9应用写入集群的rt耗时变高,同时集群监控的indexing的时长也变高mlocked的内存调用一直在增长

Elasticsearch6.2服务器升配后的bug(避坑指南)

二、升级过程升配前

ES version:6.2.4

配置:32C64G

环境:阿里云ecs自建

gc:cms

jvm:30GB

升配后

ES version:6.2.4

配置:64C128G

环境:阿里云ecs自建

gc:cms

jvm:30GB

三、处理步骤

升配之后第二天首先应用表现出异常,写入ES的耗时变高了好十几倍,从40ms上升到600ms;升配导致集群变慢还是头一次遇到。通过对集群监控分析集群整体负载正常比升配之前有所下降,但是indexing的写入耗时监控确实比升配之前增长了很多。在ES的输出日志中出现了异常日志"stop throttling indexing: numMergesInFlight=8, maxNumMerges=9";

1.限流处理

当时怀疑应该是这个限流导致,ES的限流的主要目的是出于对集群的保护避免产生过多的段影响性能,说白了就是段的合并跟不上写入的速度,所以先来解决这个限流的问题,

由于配置文件没有配置最大线程数和最大的合并线程数,所以这两个值是用的是默认值

Spinning media has a harder time with concurrent I/O, so we need to decrease the number of threads that can concurrently access the disk per index. This setting will allow max_thread_count + 2 threads to operate on the disk at one time, so a setting of 1 will allow three threads.

index.merge.scheduler.max_thread_count
The maximum number of threads on a single shard that may be merging at once. Defaults to Math.max(1, Math.min(4, Runtime.getRuntime().availableProcessors() / 2)) which works well for a good solid-state-disk (SSD). If your index is on spinning platter drives instead, decrease this to 1.

Elasticsearch6.2服务器升配后的bug(避坑指南)

注意:在6.x版本之后已经取消了"indices.store.throttle.max_bytes_per_sec",所以现在只能通过调整max_thread_count,max_merge_count,默认max_thread_count最小是1最大是4,如果是机械盘推荐设1如果是ssd盘可以设成4或者更高,max_merge_count默认等于max_thread_count+5,也可以单独设置

可以通过命令查看默认的集群参数配置:

GET _settings/?include_defaults

可以配置到配置文件当中,也可以通过以下命令针对索引进行动态设置:

PUT index_name/_settings 
{
    "index.merge.scheduler.max_thread_count": 4,
    "index.merge.scheduler.max_merge_count": 20
}

2.mlock

通过修改线程数之后,限流的问题解决了,但是应用的写入rt耗时问题还是没有得到解决 。通过对"hot_threads"进行分析发现主要的耗时还是在merge和index两大块,并且通过os层面的监控发现mlock的占用内存一直在增长,启动参数配置文件设置在内存锁定“bootstrap.memory_lock: true”不明白为什么还会出现mlock的增长。

处理办法:

将硬件配置降回到32C64G问题解决,增加一副本来提升查询性能

3、总结

经过3天问题排查,网上也没有找到类似的案例,网上更多的还是限流相关的案例,总结下来应该还是当前版本对于大内存的处理相关的bug,在7.x版本没有出现类似的内存问题

到此这篇关于Elasticsearch6.2服务器升配后的bug的文章就介绍到这了,更多相关Elasticsearch6.2服务器内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
扩展多台相同的Web服务器
Apr 01 Servers
nginx反向代理配置去除前缀案例教程
Jul 26 Servers
Nginx+Windows搭建域名访问环境的操作方法
Mar 17 Servers
Apache Hudi集成Spark SQL操作hide表
Mar 31 Servers
Kubernetes关键组件与结构组成介绍
Mar 31 Servers
Windows Server 2016 配置 IIS 的详细步骤
Apr 28 Servers
centos7安装mysql5.7经验记录
May 02 Servers
服务器SVN搭建图文安装过程
Jun 21 Servers
nginx之queue的具体使用
Jun 28 Servers
nginx七层负载均衡配置详解
Jul 15 Servers
搭建zabbix监控以及邮件报警的超级详细教学
Jul 15 Servers
Nginx使用ngx_http_upstream_module实现负载均衡功能示例
Aug 05 Servers
Zabbix6通过ODBC方式监控Oracle 19C的详细过程
Sep 23 #Servers
源码安装apache脚本部署过程详解
Sep 23 #Servers
教你使用Ubuntu搭建DNS服务器
Sep 23 #Servers
windows server2012 R2下安装PaddleOCR服务的的详细步骤
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 #Servers
服务器nginx权限被拒绝解决案例
Sep 23 #Servers
Fluentd搭建日志收集服务
Sep 23 #Servers
You might like
PHP调用三种数据库的方法(1)
2006/10/09 PHP
phpfans留言版用到的install.php
2007/01/04 PHP
PHP 开发环境配置(测试开发环境)
2010/04/28 PHP
php使用MySQL保存session会话的方法
2015/06/26 PHP
thinkPHP5框架接口写法简单示例
2019/08/05 PHP
编写可维护面向对象的JavaScript代码[翻译]
2011/02/12 Javascript
js实现的GridView即表头固定表体有滚动条且可滚动
2014/02/19 Javascript
JavaScript控制按钮可用或不可用的方法
2015/04/03 Javascript
JQuery实现图片轮播效果
2015/09/15 Javascript
JavaScript如何动态创建table表格
2020/08/02 Javascript
AngularJS 使用$sce控制代码安全检查
2016/01/05 Javascript
JavaScript判断变量是否为数组的方法(Array)
2016/02/24 Javascript
基于AngularJS的拖拽文件上传的实例代码
2017/07/15 Javascript
详解Angular调试技巧之报错404(not found)
2018/01/31 Javascript
解决angularjs前后端分离调用接口传递中文时中文乱码的问题
2018/08/13 Javascript
如何在Vue中使用CleaveJS格式化你的输入内容
2018/12/14 Javascript
JS实现商城秒杀倒计时功能(动态设置秒杀时间)
2019/12/12 Javascript
Ant design vue table 单击行选中 勾选checkbox教程
2020/10/24 Javascript
[01:00:12]2018DOTA2亚洲邀请赛 4.7 淘汰赛 VP vs LGD 第一场
2018/04/09 DOTA
Python中处理字符串之endswith()方法的使用简介
2015/05/18 Python
Python检测一个对象是否为字符串类的方法
2015/05/21 Python
python开发之IDEL(Python GUI)的使用方法图文详解
2015/11/12 Python
Python 模拟购物车的实例讲解
2017/09/11 Python
pyqt5的QComboBox 使用模板的具体方法
2018/09/06 Python
python远程邮件控制电脑升级版
2019/05/23 Python
python机器学习实现决策树
2019/11/11 Python
如何修复使用 Python ORM 工具 SQLAlchemy 时的常见陷阱
2019/11/19 Python
Python调用Windows API函数编写录音机和音乐播放器功能
2020/01/05 Python
canvas如何实现多张图片编辑的图片编辑器
2020/03/10 HTML / CSS
校庆筹备方案
2014/03/30 职场文书
《放小鸟》教学反思
2014/04/20 职场文书
财务部会计岗位职责
2015/02/03 职场文书
结婚堵门保证书
2015/05/08 职场文书
债务纠纷起诉书
2015/05/20 职场文书
实习报告怎么写
2019/06/20 职场文书
Nginx服务器如何设置url链接
2021/03/31 Servers