MySQL Threads_running飙升与慢查询的相关问题解决


Posted in MySQL onMay 08, 2021

背景

年前本应该是回顾一年工作和收尾的阶段,奈何各种促销,活动都等着春节,因此也遇到了不少的问题,回顾了一下最近遇到的问题,发现有好几个问题比较类似,正好整理一下,作为年前收尾的案例吧。表现上都是数据库假死,无响应,发生的场景有较高的业务压力到来时,也有业务正常运行的时候,突然就出现问题了。

问题描述

由于腾讯云数据库 MySQL 本身是有故障检测和高可用机制的,这几例问题发生的时候,从用户反馈的问题出现的时间点到实际介入排查的时候已经有好几分钟了,但是并没有触发高可用切换,说明这个问题可能并不是数据库自身的故障,也不是一些外部原因导致数据库不可用。

检查一下数据库当时候的状态,发现一个很不正常的指标:

MySQL Threads_running飙升与慢查询的相关问题解决

在问题的时间点附近,连接数的总数量和 threads_running 的数量在短时间内开始飙升,并且接近半分钟的时间内,连监控插件都采集不到数据了。在相同的时间段内,CPU 的使用率(达到 100%)、慢查询数量也跟着飙升。基本上可以确认 CPU 使用率,慢查询,连接数的指标这三者应该是相关联的,可以从这三者入手来分析这次问题的起因。

原因分析

99%的情况下,只要慢查询数量在飙升,那么这个问题就和慢查询脱不了关系,但是案例分析并不能这么草率的下结论。言归正传,既然目标缩小在三个指标上,那么分别考虑一下这三个指标的意义,看看这几个指标的异常会带来什么问题。

CPU

CPU 过高说明 MySQL 的计算能力被占满了,能占用 MySQL 计算资源的只有用户线程和 MySQL 自身的系统线程,这次问题明显和 MySQL 系统线程没什么关系,说明用户线程在大量占用 CPU 的计算资源,而且使用率达到 100% 说明有这个资源争抢的程度是非常严重的,可能会导致原本效率极高的查询因为拿不到 CPU 资源而变得非常缓慢,从高效率的查询变成低效的慢查询,从而产生数据库假死或者 hang 死的现象。

慢查询

慢查询是个老生常谈的问题了,因为查询效率过低,会过度占用 CPU,IO,内存等资源,从而影响到其他正常的查询,从监控指标上来说,CPU 使用率,IO 使用情况,内存使用率都可能会有不同程度的上升,严重的情况下也会引发这几个指标的飙升,导致整个数据库响应缓慢。

连接数

连接数通常是一个引发“实际故障”的指标,例如连接数达到 max_connections 的上限,从而导致整个数据库无法新建连接,程序侧直接是报错的,而不是无响应。threads_running 这个指标,参考官方文档的描述:

The number of threads that are not sleeping.

简单直白的解释,这个指标的飙升代表当时候有大量活跃的用户连接在 MySQL 实例中。而且从这个案例的监控图表来看,是一个飙升的趋势,说明是在短时间内出现了大量的活跃连接。

分析

完成这三个指标的简单分析,可以发现这个三个指标是互相影响:

  1. 慢查询堆积会导致 CPU 使用率过高;
  2. CPU 过高会导致整体的查询效率变低,进而导致一些高效的查询变成慢查询;
  3. 慢查询的执行效率过低,会较长时间的保持活跃状态,所以 Threads_running 这个指标一定会上涨。
  4. 过高的并发突然到来时,大量的查询处于活跃状态会让 Threads_running 这个指标飙升,同时这种尖刺型的高峰也很容易占满 CPU。

看起来三个指标飙升的原因是自洽的,只靠这三个指标并不能真正的判断出问题的原因。那么仔细考虑一下这几个指标飙升的原因为什么会自洽?会发现有一个核心现象,或者说是共性:查询要能够堆积起来。如果:

  1. 堆积起来的查询本来效率就不高,那么这个问题的诱因基本就是慢查询了。
  2. 堆积起来的查询效率很高,那么这个问题的诱因可能是瞬间并发过高,或者是其他的原因导致 CPU 使用率暴涨,然后反过来影响了这些效率很高的查询。

所以检查一下堆积起来的查询,就能比较直白的分辨出问题了,就上图展示的这个案例而言,堆积起来的查询大量使用了 group by 和 order by,查询的效率比较低,所以根因还是慢查询。

拓展一下

如开篇所提及,最近发生的问题有多起,且原因类似。除了这个飙升的案例,还有如下所示的现象。

MySQL Threads_running飙升与慢查询的相关问题解决

threads_running 保持在一个相对平稳的数值,参考前文的分析,可以发现这个现象代表着在平时的时候,就有约 10 个查询长时间处于活跃状态,可以预测一个故障场景:业务量继续上升,活跃的查询变多,当高效的查询受影响,效率降低到一定程度的时候,前端程序/用户会因为超时或者响应慢的原因,发起重试,然后因为查询效率降低,这个重试被反复触发,然后引发雪崩效应,慢慢拖垮数据库。

万幸的是多个类似现象的实例仅有一个出现了问题,就是预测的这个场景,其他的都及时优化掉了。

总结一下

虽说仍旧是慢查询的问题,但是从这个案例可以发现另外一个 MySQL 指标,threads_running 的用处:监控活跃的连接,提前发现一些并发量过高和异常的查询,防止数据库堆积查询,产生假死的现象。

以上就是MySQL Threads_running飙升与慢查询的问题解决的详细内容,更多关于MySQL Threads_running飙升与慢查询的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL 角色(role)功能介绍
Apr 24 MySQL
解读MySQL的客户端和服务端协议
May 10 MySQL
MySQL 如何分析查询性能
May 12 MySQL
Navicat for MySQL的使用教程详解
May 27 MySQL
mysql如何能有效防止删库跑路
Oct 05 MySQL
mysql sum(if())和count(if())的用法说明
Jan 18 MySQL
Mysql Innodb存储引擎之索引与算法
Feb 15 MySQL
解析MySQL索引的作用
Mar 03 MySQL
MySQL的InnoDB存储引擎的数据页结构详解
Mar 03 MySQL
MySQL分区路径子分区再分区
Apr 13 MySQL
Windows 64位 安装 mysql 8.0.28 图文教程
Apr 19 MySQL
MYSQL常用函数介绍
May 05 MySQL
MySQL sql_mode的使用详解
May 08 #MySQL
MySQL 数据丢失排查案例
May 08 #MySQL
MySQL update set 和 and的区别
May 08 #MySQL
MySQL查询学习之基础查询操作
May 08 #MySQL
MySQL sql_mode修改不生效的原因及解决
May 07 #MySQL
一篇文章弄懂MySQL查询语句的执行过程
详解MySQL主从复制及读写分离
You might like
php处理多图上传压缩代码功能
2018/06/13 PHP
Jquery Autocomplete 结合asp.net使用要点
2010/10/29 Javascript
return false,对阻止事件默认动作的一些测试代码
2010/11/17 Javascript
JavaScript数值转换的三种方式总结
2014/07/31 Javascript
js实现非常棒的弹出div
2016/10/06 Javascript
微信小程序之前台循环数据绑定
2017/08/18 Javascript
详解vue2.0 资源文件assets和static的区别
2018/11/27 Javascript
微信小程序生成分享海报方法(附带二维码生成)
2019/03/29 Javascript
使用异步组件优化Vue应用程序的性能
2019/04/28 Javascript
利用JS如何获取form表单数据
2019/12/19 Javascript
arcgis.js控制地图地体的显示范围超出区域自动弹回(实现思路)
2021/01/28 Javascript
在类Unix系统上开始Python3编程入门
2015/08/20 Python
解析Python编程中的包结构
2015/10/25 Python
Python selenium 三种等待方式解读
2016/09/15 Python
Python实现文件内容批量追加的方法示例
2017/08/29 Python
Django实现跨域请求过程详解
2019/07/25 Python
Python使用scipy模块实现一维卷积运算示例
2019/09/05 Python
Python读取yaml文件的详细教程
2020/07/21 Python
python中判断文件结束符的具体方法
2020/08/04 Python
欧缇丽英国官方网站:Caudalie英国
2016/08/17 全球购物
佳能加拿大网上商店:Canon eStore Canada
2018/04/04 全球购物
我想声明一个指针并为它分配一些空间, 但却不行。这些代码有什么 问题?char *p; *p = malloc(10);
2016/10/06 面试题
大学生毕业求职的自我评价
2013/09/29 职场文书
就业推荐自我鉴定
2013/10/06 职场文书
土木工程应届生求职信
2013/10/31 职场文书
幼儿园托班开学寄语
2014/01/18 职场文书
社区学习十八大感想
2014/01/22 职场文书
十八届三中全会报告学习材料
2014/02/17 职场文书
实习报告评语
2014/04/26 职场文书
我心目中的好老师活动方案
2014/08/19 职场文书
门面房租房协议书
2014/12/01 职场文书
2014年大班保育员工作总结
2014/12/02 职场文书
个人创业事迹材料
2014/12/30 职场文书
爱护环境建议书
2015/09/14 职场文书
大学组织委员竞选稿
2015/11/21 职场文书
关于的python五子棋的算法
2022/05/02 Python