MYSQL 的10大经典优化案例场景实战


Posted in MySQL onSeptember 14, 2021

一、SQL优化一般步骤

通过慢查日志等定位那些执行效率较低的SQL语句

1、explain 分析SQL的执行计划

需要重点关注typerowsfilteredextra

type由上至下,效率越来越高

  • ALL 全表扫描
  • index 索引全扫描
  • range 索引范围扫描,常用语<,<=,>=,between,in等操作
  • ref 使用非唯一索引扫描或唯一索引前缀扫描,返回单条记录,常出现在关联查询中
  • eq_ref 类似ref,区别在于使用的是唯一索引,使用主键的关联查询
  • const/system 单条记录,系统会把匹配行中的其他列作为常数处理,如主键或唯一索引查询
  • null MySQL不访问任何表或索引,直接返回结果

虽然上至下,效率越来越高,但是根据cost模型,假设有两个索引idx1(a, b, c),idx2(a, c),SQL为"select * from t where a = 1 and b in (1, 2) order by c";如果走idx1,那么是type为range,如果走idx2,那么type是ref;当需要扫描的行数,使用idx2大约是idx1的5倍以上时,会用idx1,否则会用idx2

Extra

  • Using filesort:MySQL需要额外的一次传递,以找出如何按排序顺序检索行。通过根据联接类型浏览所有行并为所有匹配WHERE子句的行保存排序关键字和行的指针来完成排序。然后关键字被排序,并按排序顺序检索行。
  • Using temporary:使用了临时表保存中间结果,性能特别差,需要重点优化
  • Using index:表示相应的 select 操作中使用了覆盖索引(Coveing Index),避免访问了表的数据行,效率不错!如果同时出现 using where,意味着无法直接通过索引查找来查询到符合条件的数据。
  • Using index condition:MySQL5.6之后新增的ICPusing index condtion就是使用了ICP(索引下推),在存储引擎层进行数据过滤,而不是在服务层过滤,利用索引现有的数据减少回表的数据。

2、show profile 分析

了解SQL执行的线程的状态及消耗的时间。
默认是关闭的,开启语句“set profiling = 1;”

SHOW PROFILES ;
SHOW PROFILE FOR QUERY  #{id};

3、trace

trace分析优化器如何选择执行计划,通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。

set optimizer_trace="enabled=on";
set optimizer_trace_max_mem_size=1000000;
select * from information_schema.optimizer_trace;

4、确定问题并采用相应的措施

  • 优化索引
  • 优化SQL语句:修改SQL、IN 查询分段、时间查询分段、基于上一次数据过滤
  • 改用其他实现方式:ES、数仓等
  • 数据碎片处理

二、场景分析(案例)

1、 最左匹配

索引

KEY `idx_shopid_orderno` (`shop_id`,`order_no`)

SQL语句

select * from _t where orderno=''

查询匹配从左往右匹配,要使用order_no走索引,必须查询条件携带shop_id或者索引(shop_id,order_no)调换前后顺序

2、隐式转换

索引

KEY `idx_mobile` (`mobile`)

SQL语句

select * from _user where mobile=12345678901

隐式转换相当于在索引上做运算,会让索引失效。mobile是字符类型,使用了数字,应该使用字符串匹配,否则MySQL会用到隐式替换,导致索引失效。

3、大分页

索引

KEY `idx_a_b_c` (`a`, `b`, `c`)

SQL语句

select * from _t where a = 1 and b = 2 order by c desc limit 10000, 10;

对于大分页的场景,可以优先让产品优化需求,如果没有优化的,有如下两种优化方式,

一种是把上一次的最后一条数据,也即上面的c传过来,然后做“c < xxx”处理,但是这种一般需要改接口协议,并不一定可行。

另一种是采用延迟关联的方式进行处理,减少SQL回表,但是要记得索引需要完全覆盖才有效果,SQL改动如下

select t1.* from _t t1, (select id from _t where a = 1 and b = 2 order by c desc limit 10000, 10) t2 where t1.id = t2.id;

4、in + order by

索引

KEY `idx_shopid_status_created` (`shop_id`, `order_status`, `created_at`)

SQL语句

select * from _order where shop_id = 1 and order_status in (1, 2, 3) order by created_at desc limit 10

in查询在MySQL底层是通过n*m的方式去搜索,类似union,但是效率比union高。
in查询在进行cost代价计算时(代价 = 元组数 * IO平均值),是通过将in包含的数值,一条条去查询获取元组数的,因此这个计算过程会比较的慢,所以MySQL设置了个临界值(eq_range_index_dive_limit),5.6之后超过这个临界值后该列的cost就不参与计算了。因此会导致执行计划选择不准确。默认是200,即in条件超过了200个数据,会导致in的代价计算存在问题,可能会导致Mysql选择的索引不准确。

处理方式:可以(order_status, created_at)互换前后顺序,并且调整SQL为延迟关联。

5、范围查询阻断,后续字段不能走索引

索引

KEY `idx_shopid_created_status` (`shop_id`, `created_at`, `order_status`)

SQL语句

select * from _order where shop_id = 1 and created_at > '2021-01-01 00:00:00' and order_status = 10

范围查询还有“IN、between

6、不等于、不包含不能用到索引的快速搜索

可以用到ICP

select * from _order where shop_id=1 and order_status not in (1,2)
select * from _order where shop_id=1 and order_status != 1

在索引上,避免使用NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE

7、优化器选择不使用索引的情况

如果要求访问的数据量很小,则优化器还是会选择辅助索引,但是当访问的数据占整个表中数据的蛮大一部分时(一般是20%左右),优化器会选择通过聚集索引来查找数据。

select * from _order where  order_status = 1

查询出所有未支付的订单,一般这种订单是很少的,即使建了索引,也没法使用索引。

8、复杂查询

select sum(amt) from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01';
select * from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01' limit 10;

如果是统计某些数据,可能改用数仓进行解决;

如果是业务上就有那么复杂的查询,可能就不建议继续走SQL了,而是采用其他的方式进行解决,比如使用ES等进行解决。

9、asc和desc混用

select * from _t where a=1 order by b desc, c asc

desc 和asc混用时会导致索引失效

10、大数据

对于推送业务的数据存储,可能数据量会很大,如果在方案的选择上,最终选择存储在MySQL上,并且做7天等有效期的保存。

那么需要注意,频繁的清理数据,会照成数据碎片,需要联系DBA进行数据碎片处理

到此这篇关于10大经典 MYSQL 优化案例场景实战的文章就介绍到这了,更多相关MYSQL 优化案例场景实战内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
详解MySQL的Seconds_Behind_Master
May 18 MySQL
你知道哪几种MYSQL的连接查询
Jun 03 MySQL
MySQL GRANT用户授权的实现
Jun 18 MySQL
mysql 直接拷贝data 目录下文件还原数据的实现
Jul 25 MySQL
MySQL中连接查询和子查询的问题
Sep 04 MySQL
MySQL和Oracle批量插入SQL的通用写法示例
Nov 17 MySQL
防止web项目中的SQL注入
Dec 06 MySQL
Mysql多层子查询示例代码(收藏夹案例)
Mar 31 MySQL
MySQL中优化SQL语句的方法(show status、explain分析服务器状态信息)
Apr 09 MySQL
在MySQL中你成功的避开了所有索引
Apr 20 MySQL
MySQL 字符集 character
May 04 MySQL
delete in子查询不走索引问题分析
Jul 07 MySQL
MySQL中连接查询和子查询的问题
mysql配置SSL证书登录的实现
MySQL约束超详解
Sep 04 #MySQL
MySQL中的隐藏列的具体查看
Sep 04 #MySQL
Mysql实现简易版搜索引擎的示例代码
Aug 30 #MySQL
详细聊聊MySQL中慢SQL优化的方向
Aug 30 #MySQL
MySQL8.0的WITH查询详情
Aug 30 #MySQL
You might like
php中模拟POST传递数据的两种方法分享
2011/09/16 PHP
PHP中redis的用法深入解析
2014/02/20 PHP
PHP 导出Excel示例分享
2014/08/18 PHP
详解HTTP Cookie状态管理机制
2016/01/14 PHP
详解关于php的xdebug配置(编辑器vscode)
2019/01/29 PHP
jquery 插件 人性化的消息显示
2008/01/21 Javascript
B/S模式项目中常用的javascript汇总
2013/12/17 Javascript
JavaScript控制图片加载完成后调用回调函数的方法
2015/03/20 Javascript
JavaScript实现仿网易通行证表单验证
2015/05/25 Javascript
常用DOM整理
2015/06/16 Javascript
Bootstrap表单组件教程详解
2016/04/26 Javascript
JavaScript事件学习小结(一)事件流
2016/06/09 Javascript
js实现添加删除表格(两种方法)
2017/04/27 Javascript
JS组件库AlloyTouch实现图片轮播过程解析
2020/05/29 Javascript
请求时token过期自动刷新token操作
2020/09/11 Javascript
解决vue props传Array/Object类型值,子组件报错的情况
2020/11/07 Javascript
[01:36]极致酷炫!TI9典藏宝瓶+撼地者至宝展示
2019/06/11 DOTA
Python 检查数组元素是否存在类似PHP isset()方法
2014/10/14 Python
两个使用Python脚本操作文件的小示例分享
2015/08/27 Python
python装饰器-限制函数调用次数的方法(10s调用一次)
2018/04/21 Python
详解numpy.meshgrid()方法使用
2019/08/01 Python
python多线程与多进程及其区别详解
2019/08/08 Python
canvas三角函数模拟水波效果的示例代码
2018/07/03 HTML / CSS
HTML5 拖放(Drag 和 Drop)详解与实例代码
2017/09/14 HTML / CSS
Mountain Warehouse澳大利亚官网:欧洲家庭户外品牌倡导者
2016/11/20 全球购物
预订全球最佳旅行体验:Viator
2018/03/30 全球购物
化工专业推荐信范文
2013/11/28 职场文书
创业计划书中要认真思考的问题
2013/12/28 职场文书
三年级语文教学反思
2014/02/01 职场文书
《中彩那天》教学反思
2014/02/22 职场文书
《最后的姿势》教学反思
2014/02/27 职场文书
垃圾桶标语
2014/06/24 职场文书
2014年最新学校运动会广播稿
2014/09/17 职场文书
教师批评与自我批评
2014/10/15 职场文书
2019开业庆典剪彩仪式主持词!
2019/07/22 职场文书
《卧薪尝胆》读后感3篇
2019/12/26 职场文书