MYSQL 的10大经典优化案例场景实战


Posted in MySQL onSeptember 14, 2021

一、SQL优化一般步骤

通过慢查日志等定位那些执行效率较低的SQL语句

1、explain 分析SQL的执行计划

需要重点关注typerowsfilteredextra

type由上至下,效率越来越高

  • ALL 全表扫描
  • index 索引全扫描
  • range 索引范围扫描,常用语<,<=,>=,between,in等操作
  • ref 使用非唯一索引扫描或唯一索引前缀扫描,返回单条记录,常出现在关联查询中
  • eq_ref 类似ref,区别在于使用的是唯一索引,使用主键的关联查询
  • const/system 单条记录,系统会把匹配行中的其他列作为常数处理,如主键或唯一索引查询
  • null MySQL不访问任何表或索引,直接返回结果

虽然上至下,效率越来越高,但是根据cost模型,假设有两个索引idx1(a, b, c),idx2(a, c),SQL为"select * from t where a = 1 and b in (1, 2) order by c";如果走idx1,那么是type为range,如果走idx2,那么type是ref;当需要扫描的行数,使用idx2大约是idx1的5倍以上时,会用idx1,否则会用idx2

Extra

  • Using filesort:MySQL需要额外的一次传递,以找出如何按排序顺序检索行。通过根据联接类型浏览所有行并为所有匹配WHERE子句的行保存排序关键字和行的指针来完成排序。然后关键字被排序,并按排序顺序检索行。
  • Using temporary:使用了临时表保存中间结果,性能特别差,需要重点优化
  • Using index:表示相应的 select 操作中使用了覆盖索引(Coveing Index),避免访问了表的数据行,效率不错!如果同时出现 using where,意味着无法直接通过索引查找来查询到符合条件的数据。
  • Using index condition:MySQL5.6之后新增的ICPusing index condtion就是使用了ICP(索引下推),在存储引擎层进行数据过滤,而不是在服务层过滤,利用索引现有的数据减少回表的数据。

2、show profile 分析

了解SQL执行的线程的状态及消耗的时间。
默认是关闭的,开启语句“set profiling = 1;”

SHOW PROFILES ;
SHOW PROFILE FOR QUERY  #{id};

3、trace

trace分析优化器如何选择执行计划,通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。

set optimizer_trace="enabled=on";
set optimizer_trace_max_mem_size=1000000;
select * from information_schema.optimizer_trace;

4、确定问题并采用相应的措施

  • 优化索引
  • 优化SQL语句:修改SQL、IN 查询分段、时间查询分段、基于上一次数据过滤
  • 改用其他实现方式:ES、数仓等
  • 数据碎片处理

二、场景分析(案例)

1、 最左匹配

索引

KEY `idx_shopid_orderno` (`shop_id`,`order_no`)

SQL语句

select * from _t where orderno=''

查询匹配从左往右匹配,要使用order_no走索引,必须查询条件携带shop_id或者索引(shop_id,order_no)调换前后顺序

2、隐式转换

索引

KEY `idx_mobile` (`mobile`)

SQL语句

select * from _user where mobile=12345678901

隐式转换相当于在索引上做运算,会让索引失效。mobile是字符类型,使用了数字,应该使用字符串匹配,否则MySQL会用到隐式替换,导致索引失效。

3、大分页

索引

KEY `idx_a_b_c` (`a`, `b`, `c`)

SQL语句

select * from _t where a = 1 and b = 2 order by c desc limit 10000, 10;

对于大分页的场景,可以优先让产品优化需求,如果没有优化的,有如下两种优化方式,

一种是把上一次的最后一条数据,也即上面的c传过来,然后做“c < xxx”处理,但是这种一般需要改接口协议,并不一定可行。

另一种是采用延迟关联的方式进行处理,减少SQL回表,但是要记得索引需要完全覆盖才有效果,SQL改动如下

select t1.* from _t t1, (select id from _t where a = 1 and b = 2 order by c desc limit 10000, 10) t2 where t1.id = t2.id;

4、in + order by

索引

KEY `idx_shopid_status_created` (`shop_id`, `order_status`, `created_at`)

SQL语句

select * from _order where shop_id = 1 and order_status in (1, 2, 3) order by created_at desc limit 10

in查询在MySQL底层是通过n*m的方式去搜索,类似union,但是效率比union高。
in查询在进行cost代价计算时(代价 = 元组数 * IO平均值),是通过将in包含的数值,一条条去查询获取元组数的,因此这个计算过程会比较的慢,所以MySQL设置了个临界值(eq_range_index_dive_limit),5.6之后超过这个临界值后该列的cost就不参与计算了。因此会导致执行计划选择不准确。默认是200,即in条件超过了200个数据,会导致in的代价计算存在问题,可能会导致Mysql选择的索引不准确。

处理方式:可以(order_status, created_at)互换前后顺序,并且调整SQL为延迟关联。

5、范围查询阻断,后续字段不能走索引

索引

KEY `idx_shopid_created_status` (`shop_id`, `created_at`, `order_status`)

SQL语句

select * from _order where shop_id = 1 and created_at > '2021-01-01 00:00:00' and order_status = 10

范围查询还有“IN、between

6、不等于、不包含不能用到索引的快速搜索

可以用到ICP

select * from _order where shop_id=1 and order_status not in (1,2)
select * from _order where shop_id=1 and order_status != 1

在索引上,避免使用NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE

7、优化器选择不使用索引的情况

如果要求访问的数据量很小,则优化器还是会选择辅助索引,但是当访问的数据占整个表中数据的蛮大一部分时(一般是20%左右),优化器会选择通过聚集索引来查找数据。

select * from _order where  order_status = 1

查询出所有未支付的订单,一般这种订单是很少的,即使建了索引,也没法使用索引。

8、复杂查询

select sum(amt) from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01';
select * from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01' limit 10;

如果是统计某些数据,可能改用数仓进行解决;

如果是业务上就有那么复杂的查询,可能就不建议继续走SQL了,而是采用其他的方式进行解决,比如使用ES等进行解决。

9、asc和desc混用

select * from _t where a=1 order by b desc, c asc

desc 和asc混用时会导致索引失效

10、大数据

对于推送业务的数据存储,可能数据量会很大,如果在方案的选择上,最终选择存储在MySQL上,并且做7天等有效期的保存。

那么需要注意,频繁的清理数据,会照成数据碎片,需要联系DBA进行数据碎片处理

到此这篇关于10大经典 MYSQL 优化案例场景实战的文章就介绍到这了,更多相关MYSQL 优化案例场景实战内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL锁机制
Apr 05 MySQL
解决MySQL存储时间出现不一致的问题
Apr 28 MySQL
MySQL创建高性能索引的全步骤
May 02 MySQL
MySQL一些常用高级SQL语句
Jul 03 MySQL
SQL优化老出错,那是你没弄明白MySQL解释计划用法
Nov 27 MySQL
数据分析数据库ClickHouse在大数据领域应用实践
Apr 03 MySQL
MySQL 外连接语法之 OUTER JOIN
Apr 09 MySQL
MySQL库表太大怎么办? 数据库分库分表项目实践
Apr 11 MySQL
MySQL创建管理RANGE分区
Apr 13 MySQL
mysql性能优化以及配置连接参数设置
May 06 MySQL
mysql字段为NULL索引是否会失效实例详解
May 30 MySQL
MySql数据库触发器使用教程
Jun 01 MySQL
MySQL中连接查询和子查询的问题
mysql配置SSL证书登录的实现
MySQL约束超详解
Sep 04 #MySQL
MySQL中的隐藏列的具体查看
Sep 04 #MySQL
Mysql实现简易版搜索引擎的示例代码
Aug 30 #MySQL
详细聊聊MySQL中慢SQL优化的方向
Aug 30 #MySQL
MySQL8.0的WITH查询详情
Aug 30 #MySQL
You might like
PHP 开源框架22个简单简介
2009/08/24 PHP
php学习笔记 面向对象中[接口]与[多态性]的应用
2011/06/16 PHP
判断PHP数组是否为空的代码
2011/09/08 PHP
基于HBase Thrift接口的一些使用问题及相关注意事项的详解
2013/06/03 PHP
浅谈php冒泡排序
2014/12/30 PHP
列举PHP的Yii 2框架的开发优势
2015/07/03 PHP
jQuery 入门级学习笔记及源码
2010/01/22 Javascript
web页面数据展示新想法(json)
2010/06/08 Javascript
基于jQuery的模仿新浪微博时间的组件
2011/10/04 Javascript
jQuery $.get 的妙用 访问本地文本文件
2012/07/12 Javascript
js实现类似jquery里animate动画效果的方法
2015/04/10 Javascript
AngularJS页面访问时出现页面闪烁问题的解决
2016/03/06 Javascript
javascript css红色经典选项卡效果实现代码
2016/05/17 Javascript
jQuery实现的自定义弹出层效果实例详解
2016/09/04 Javascript
jQuery+HTML5实现弹出创意搜索框层
2016/12/29 Javascript
vue 计时器组件的实现代码
2017/09/14 Javascript
AngularJS发送异步Get/Post请求方法
2018/08/13 Javascript
react quill中图片上传由默认转成base64改成上传到服务器的方法
2019/10/30 Javascript
JS实现拼图游戏
2021/01/29 Javascript
详解Howler.js Web音频播放终极解决方案
2020/08/23 Javascript
[49:35]KG vs SECRET 2019国际邀请赛小组赛 BO2 第一场 8.16
2019/08/19 DOTA
python二叉树遍历的实现方法
2013/11/21 Python
Python中input和raw_input的一点区别
2014/10/21 Python
Python实现判断一个字符串是否包含子串的方法总结
2017/11/21 Python
Python3 实现随机生成一组不重复数并按行写入文件
2018/04/09 Python
python实现大转盘抽奖效果
2019/01/22 Python
详解python的argpare和click模块小结
2019/03/31 Python
荷兰鞋子在线:Nelson Schoenen
2017/12/25 全球购物
LN-CC英国:伦敦时尚生活的缩影
2019/09/01 全球购物
什么是Assembly(程序集)
2014/09/14 面试题
shell程序如何生命变量?shell变量是弱变量吗?
2014/11/10 面试题
金融管理应届生求职信
2014/02/20 职场文书
2014两会优秀的心得体会范文
2014/03/17 职场文书
爱护草坪标语
2014/06/24 职场文书
债务纠纷委托书
2014/08/30 职场文书
运动会加油稿30字
2015/07/21 职场文书