MySQL Threads_running飙升与慢查询的相关问题解决


Posted in MySQL onMay 08, 2021

背景

年前本应该是回顾一年工作和收尾的阶段,奈何各种促销,活动都等着春节,因此也遇到了不少的问题,回顾了一下最近遇到的问题,发现有好几个问题比较类似,正好整理一下,作为年前收尾的案例吧。表现上都是数据库假死,无响应,发生的场景有较高的业务压力到来时,也有业务正常运行的时候,突然就出现问题了。

问题描述

由于腾讯云数据库 MySQL 本身是有故障检测和高可用机制的,这几例问题发生的时候,从用户反馈的问题出现的时间点到实际介入排查的时候已经有好几分钟了,但是并没有触发高可用切换,说明这个问题可能并不是数据库自身的故障,也不是一些外部原因导致数据库不可用。

检查一下数据库当时候的状态,发现一个很不正常的指标:

MySQL Threads_running飙升与慢查询的相关问题解决

在问题的时间点附近,连接数的总数量和 threads_running 的数量在短时间内开始飙升,并且接近半分钟的时间内,连监控插件都采集不到数据了。在相同的时间段内,CPU 的使用率(达到 100%)、慢查询数量也跟着飙升。基本上可以确认 CPU 使用率,慢查询,连接数的指标这三者应该是相关联的,可以从这三者入手来分析这次问题的起因。

原因分析

99%的情况下,只要慢查询数量在飙升,那么这个问题就和慢查询脱不了关系,但是案例分析并不能这么草率的下结论。言归正传,既然目标缩小在三个指标上,那么分别考虑一下这三个指标的意义,看看这几个指标的异常会带来什么问题。

CPU

CPU 过高说明 MySQL 的计算能力被占满了,能占用 MySQL 计算资源的只有用户线程和 MySQL 自身的系统线程,这次问题明显和 MySQL 系统线程没什么关系,说明用户线程在大量占用 CPU 的计算资源,而且使用率达到 100% 说明有这个资源争抢的程度是非常严重的,可能会导致原本效率极高的查询因为拿不到 CPU 资源而变得非常缓慢,从高效率的查询变成低效的慢查询,从而产生数据库假死或者 hang 死的现象。

慢查询

慢查询是个老生常谈的问题了,因为查询效率过低,会过度占用 CPU,IO,内存等资源,从而影响到其他正常的查询,从监控指标上来说,CPU 使用率,IO 使用情况,内存使用率都可能会有不同程度的上升,严重的情况下也会引发这几个指标的飙升,导致整个数据库响应缓慢。

连接数

连接数通常是一个引发“实际故障”的指标,例如连接数达到 max_connections 的上限,从而导致整个数据库无法新建连接,程序侧直接是报错的,而不是无响应。threads_running 这个指标,参考官方文档的描述:

The number of threads that are not sleeping.

简单直白的解释,这个指标的飙升代表当时候有大量活跃的用户连接在 MySQL 实例中。而且从这个案例的监控图表来看,是一个飙升的趋势,说明是在短时间内出现了大量的活跃连接。

分析

完成这三个指标的简单分析,可以发现这个三个指标是互相影响:

  1. 慢查询堆积会导致 CPU 使用率过高;
  2. CPU 过高会导致整体的查询效率变低,进而导致一些高效的查询变成慢查询;
  3. 慢查询的执行效率过低,会较长时间的保持活跃状态,所以 Threads_running 这个指标一定会上涨。
  4. 过高的并发突然到来时,大量的查询处于活跃状态会让 Threads_running 这个指标飙升,同时这种尖刺型的高峰也很容易占满 CPU。

看起来三个指标飙升的原因是自洽的,只靠这三个指标并不能真正的判断出问题的原因。那么仔细考虑一下这几个指标飙升的原因为什么会自洽?会发现有一个核心现象,或者说是共性:查询要能够堆积起来。如果:

  1. 堆积起来的查询本来效率就不高,那么这个问题的诱因基本就是慢查询了。
  2. 堆积起来的查询效率很高,那么这个问题的诱因可能是瞬间并发过高,或者是其他的原因导致 CPU 使用率暴涨,然后反过来影响了这些效率很高的查询。

所以检查一下堆积起来的查询,就能比较直白的分辨出问题了,就上图展示的这个案例而言,堆积起来的查询大量使用了 group by 和 order by,查询的效率比较低,所以根因还是慢查询。

拓展一下

如开篇所提及,最近发生的问题有多起,且原因类似。除了这个飙升的案例,还有如下所示的现象。

MySQL Threads_running飙升与慢查询的相关问题解决

threads_running 保持在一个相对平稳的数值,参考前文的分析,可以发现这个现象代表着在平时的时候,就有约 10 个查询长时间处于活跃状态,可以预测一个故障场景:业务量继续上升,活跃的查询变多,当高效的查询受影响,效率降低到一定程度的时候,前端程序/用户会因为超时或者响应慢的原因,发起重试,然后因为查询效率降低,这个重试被反复触发,然后引发雪崩效应,慢慢拖垮数据库。

万幸的是多个类似现象的实例仅有一个出现了问题,就是预测的这个场景,其他的都及时优化掉了。

总结一下

虽说仍旧是慢查询的问题,但是从这个案例可以发现另外一个 MySQL 指标,threads_running 的用处:监控活跃的连接,提前发现一些并发量过高和异常的查询,防止数据库堆积查询,产生假死的现象。

以上就是MySQL Threads_running飙升与慢查询的问题解决的详细内容,更多关于MySQL Threads_running飙升与慢查询的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
一篇文章弄懂MySQL查询语句的执行过程
May 07 MySQL
MySql学习笔记之事务隔离级别详解
May 12 MySQL
MySQL中你可能忽略的COLLATION实例详解
May 12 MySQL
MySQL 逻辑备份与恢复测试的相关总结
May 14 MySQL
带你学习MySQL执行计划
May 31 MySQL
新手入门Mysql--概念
Jun 18 MySQL
MySQL里面的子查询的基本使用
Aug 02 MySQL
详细聊聊MySQL中慢SQL优化的方向
Aug 30 MySQL
MySQL 分区表中分区键为什么必须是主键的一部分
Mar 17 MySQL
MySQL 数据库范式化设计理论
Apr 22 MySQL
MySQL 字符集 character
May 04 MySQL
MySQL的prepare使用以及遇到的bug
May 11 MySQL
MySQL sql_mode的使用详解
May 08 #MySQL
MySQL 数据丢失排查案例
May 08 #MySQL
MySQL update set 和 and的区别
May 08 #MySQL
MySQL查询学习之基础查询操作
May 08 #MySQL
MySQL sql_mode修改不生效的原因及解决
May 07 #MySQL
一篇文章弄懂MySQL查询语句的执行过程
详解MySQL主从复制及读写分离
You might like
11个PHP 分页脚本推荐
2011/08/15 PHP
PHP面向对象程序设计组合模式与装饰模式详解
2016/12/02 PHP
[转]JS宝典学习笔记
2007/02/07 Javascript
jQuery 浮动广告实现代码
2008/12/25 Javascript
js 获取中文拼音,Select自动匹配字母获取值的代码
2009/09/23 Javascript
jQuery+CSS 实现随滚动条增减的汽水瓶中的液体效果
2011/09/26 Javascript
一些常用弹出窗口/拖放/异步文件上传等实用代码
2013/01/06 Javascript
js修改table中Td的值(定义td的双击事件)
2013/01/10 Javascript
js实现简单登录功能的实例代码
2013/11/09 Javascript
js与jQuery 获取父窗、子窗的iframe
2013/12/20 Javascript
jq实现酷炫的鼠标经过图片翻滚效果
2014/03/12 Javascript
浅析Node在构建超媒体API中的作用
2014/07/30 Javascript
Javascript表单验证要注意的事项
2014/09/29 Javascript
为JS扩展Array.prototype.indexOf引发的问题及解决办法
2015/01/21 Javascript
自制简易打赏功能的实例
2017/09/02 Javascript
ES6函数和数组用法实例分析
2020/05/23 Javascript
[47:39]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 LGD vs OPTIC
2018/03/31 DOTA
Python中利用sorted()函数排序的简单教程
2015/04/27 Python
python 删除非空文件夹的实例
2018/04/26 Python
Python对HTML转义字符进行反转义的实现方法
2019/04/28 Python
python 将日期戳(五位数时间)转换为标准时间
2019/07/11 Python
Python远程linux执行命令实现
2020/11/11 Python
使用Python爬取小姐姐图片(beautifulsoup法)
2021/02/11 Python
HTML5的Video标签有部分MP4无法播放的问题解析(多图)
2017/08/18 HTML / CSS
北体毕业生求职信
2014/02/28 职场文书
2014年端午节活动方案
2014/03/11 职场文书
交通事故协议书
2014/04/15 职场文书
会计学自荐信
2014/06/03 职场文书
校园安全标语
2014/06/07 职场文书
植树造林的宣传标语
2014/06/23 职场文书
用人单位终止解除劳动合同证明书
2014/10/06 职场文书
兵马俑导游词
2015/02/02 职场文书
2016年政治理论学习心得体会
2016/01/25 职场文书
经典人生语录分享:不畏将来,不念过去,笑对当下
2019/12/12 职场文书
PostgreSQL通过oracle_fdw访问Oracle数据的实现步骤
2021/05/21 PostgreSQL
Python使用OpenCV实现虚拟缩放效果
2022/02/28 Python