MYSQL 的10大经典优化案例场景实战


Posted in MySQL onSeptember 14, 2021

一、SQL优化一般步骤

通过慢查日志等定位那些执行效率较低的SQL语句

1、explain 分析SQL的执行计划

需要重点关注typerowsfilteredextra

type由上至下,效率越来越高

  • ALL 全表扫描
  • index 索引全扫描
  • range 索引范围扫描,常用语<,<=,>=,between,in等操作
  • ref 使用非唯一索引扫描或唯一索引前缀扫描,返回单条记录,常出现在关联查询中
  • eq_ref 类似ref,区别在于使用的是唯一索引,使用主键的关联查询
  • const/system 单条记录,系统会把匹配行中的其他列作为常数处理,如主键或唯一索引查询
  • null MySQL不访问任何表或索引,直接返回结果

虽然上至下,效率越来越高,但是根据cost模型,假设有两个索引idx1(a, b, c),idx2(a, c),SQL为"select * from t where a = 1 and b in (1, 2) order by c";如果走idx1,那么是type为range,如果走idx2,那么type是ref;当需要扫描的行数,使用idx2大约是idx1的5倍以上时,会用idx1,否则会用idx2

Extra

  • Using filesort:MySQL需要额外的一次传递,以找出如何按排序顺序检索行。通过根据联接类型浏览所有行并为所有匹配WHERE子句的行保存排序关键字和行的指针来完成排序。然后关键字被排序,并按排序顺序检索行。
  • Using temporary:使用了临时表保存中间结果,性能特别差,需要重点优化
  • Using index:表示相应的 select 操作中使用了覆盖索引(Coveing Index),避免访问了表的数据行,效率不错!如果同时出现 using where,意味着无法直接通过索引查找来查询到符合条件的数据。
  • Using index condition:MySQL5.6之后新增的ICPusing index condtion就是使用了ICP(索引下推),在存储引擎层进行数据过滤,而不是在服务层过滤,利用索引现有的数据减少回表的数据。

2、show profile 分析

了解SQL执行的线程的状态及消耗的时间。
默认是关闭的,开启语句“set profiling = 1;”

SHOW PROFILES ;
SHOW PROFILE FOR QUERY  #{id};

3、trace

trace分析优化器如何选择执行计划,通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。

set optimizer_trace="enabled=on";
set optimizer_trace_max_mem_size=1000000;
select * from information_schema.optimizer_trace;

4、确定问题并采用相应的措施

  • 优化索引
  • 优化SQL语句:修改SQL、IN 查询分段、时间查询分段、基于上一次数据过滤
  • 改用其他实现方式:ES、数仓等
  • 数据碎片处理

二、场景分析(案例)

1、 最左匹配

索引

KEY `idx_shopid_orderno` (`shop_id`,`order_no`)

SQL语句

select * from _t where orderno=''

查询匹配从左往右匹配,要使用order_no走索引,必须查询条件携带shop_id或者索引(shop_id,order_no)调换前后顺序

2、隐式转换

索引

KEY `idx_mobile` (`mobile`)

SQL语句

select * from _user where mobile=12345678901

隐式转换相当于在索引上做运算,会让索引失效。mobile是字符类型,使用了数字,应该使用字符串匹配,否则MySQL会用到隐式替换,导致索引失效。

3、大分页

索引

KEY `idx_a_b_c` (`a`, `b`, `c`)

SQL语句

select * from _t where a = 1 and b = 2 order by c desc limit 10000, 10;

对于大分页的场景,可以优先让产品优化需求,如果没有优化的,有如下两种优化方式,

一种是把上一次的最后一条数据,也即上面的c传过来,然后做“c < xxx”处理,但是这种一般需要改接口协议,并不一定可行。

另一种是采用延迟关联的方式进行处理,减少SQL回表,但是要记得索引需要完全覆盖才有效果,SQL改动如下

select t1.* from _t t1, (select id from _t where a = 1 and b = 2 order by c desc limit 10000, 10) t2 where t1.id = t2.id;

4、in + order by

索引

KEY `idx_shopid_status_created` (`shop_id`, `order_status`, `created_at`)

SQL语句

select * from _order where shop_id = 1 and order_status in (1, 2, 3) order by created_at desc limit 10

in查询在MySQL底层是通过n*m的方式去搜索,类似union,但是效率比union高。
in查询在进行cost代价计算时(代价 = 元组数 * IO平均值),是通过将in包含的数值,一条条去查询获取元组数的,因此这个计算过程会比较的慢,所以MySQL设置了个临界值(eq_range_index_dive_limit),5.6之后超过这个临界值后该列的cost就不参与计算了。因此会导致执行计划选择不准确。默认是200,即in条件超过了200个数据,会导致in的代价计算存在问题,可能会导致Mysql选择的索引不准确。

处理方式:可以(order_status, created_at)互换前后顺序,并且调整SQL为延迟关联。

5、范围查询阻断,后续字段不能走索引

索引

KEY `idx_shopid_created_status` (`shop_id`, `created_at`, `order_status`)

SQL语句

select * from _order where shop_id = 1 and created_at > '2021-01-01 00:00:00' and order_status = 10

范围查询还有“IN、between

6、不等于、不包含不能用到索引的快速搜索

可以用到ICP

select * from _order where shop_id=1 and order_status not in (1,2)
select * from _order where shop_id=1 and order_status != 1

在索引上,避免使用NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE

7、优化器选择不使用索引的情况

如果要求访问的数据量很小,则优化器还是会选择辅助索引,但是当访问的数据占整个表中数据的蛮大一部分时(一般是20%左右),优化器会选择通过聚集索引来查找数据。

select * from _order where  order_status = 1

查询出所有未支付的订单,一般这种订单是很少的,即使建了索引,也没法使用索引。

8、复杂查询

select sum(amt) from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01';
select * from _t where a = 1 and b in (1, 2, 3) and c > '2020-01-01' limit 10;

如果是统计某些数据,可能改用数仓进行解决;

如果是业务上就有那么复杂的查询,可能就不建议继续走SQL了,而是采用其他的方式进行解决,比如使用ES等进行解决。

9、asc和desc混用

select * from _t where a=1 order by b desc, c asc

desc 和asc混用时会导致索引失效

10、大数据

对于推送业务的数据存储,可能数据量会很大,如果在方案的选择上,最终选择存储在MySQL上,并且做7天等有效期的保存。

那么需要注意,频繁的清理数据,会照成数据碎片,需要联系DBA进行数据碎片处理

到此这篇关于10大经典 MYSQL 优化案例场景实战的文章就介绍到这了,更多相关MYSQL 优化案例场景实战内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
Mysql - 常用函数 每天积极向上
Apr 05 MySQL
如何使用Maxwell实时同步mysql数据
Apr 08 MySQL
MySQL update set 和 and的区别
May 08 MySQL
MySql学习笔记之事务隔离级别详解
May 12 MySQL
MySQL 自定义变量的概念及特点
May 13 MySQL
mysql 如何获取两个集合的交集/差集/并集
Jun 08 MySQL
为什么MySQL 删除表数据 磁盘空间还一直被占用
Oct 16 MySQL
一文了解MySQL二级索引的查询过程
Feb 24 MySQL
MySQL 表锁定 LOCK和UNLOCK TABLES的 SQL语法
Apr 18 MySQL
MySQL视图概念以及相关应用
Apr 19 MySQL
Mysql表数据比较大情况下修改添加字段的方法实例
Jun 28 MySQL
Mysql中mvcc各场景理解应用
Aug 05 MySQL
MySQL中连接查询和子查询的问题
mysql配置SSL证书登录的实现
MySQL约束超详解
Sep 04 #MySQL
MySQL中的隐藏列的具体查看
Sep 04 #MySQL
Mysql实现简易版搜索引擎的示例代码
Aug 30 #MySQL
详细聊聊MySQL中慢SQL优化的方向
Aug 30 #MySQL
MySQL8.0的WITH查询详情
Aug 30 #MySQL
You might like
PHP中引用类型和值类型功能与用法示例
2019/02/26 PHP
PHP基于timestamp和nonce实现的防止重放攻击方案分析
2019/07/26 PHP
laravel框架数据库配置及操作数据库示例
2019/10/10 PHP
javascript静态的url如何传递
2007/05/03 Javascript
分享别人写的一个小型js框架
2007/08/13 Javascript
jQuery 各种浏览器下获得日期区别
2008/12/22 Javascript
jquery实现每个数字上都带进度条的幻灯片
2013/02/20 Javascript
JS通过分析userAgent属性来判断浏览器的类型及版本
2014/03/28 Javascript
Javascript实现Web颜色值转换
2015/02/05 Javascript
AngualrJS中每次$http请求时的一个遮罩层Directive
2016/01/26 Javascript
轻松实现js弹框显示选项
2016/09/13 Javascript
ES6新特征数字、数组、字符串
2016/10/01 Javascript
js实现非常棒的弹出div
2016/10/06 Javascript
详解Webpack-dev-server的proxy用法
2018/09/08 Javascript
JavaScript实现滑动门效果
2020/01/18 Javascript
Python实现的RSS阅读器实例
2015/07/25 Python
Sanic框架请求与响应实例分析
2018/07/16 Python
Python实现登陆文件验证方法
2018/10/06 Python
实例讲解Python中浮点型的基本内容
2019/02/11 Python
python 二维矩阵转三维矩阵示例
2019/11/30 Python
Django中密码的加密、验密、解密操作
2019/12/19 Python
python tkinter GUI绘制,以及点击更新显示图片代码
2020/03/14 Python
python Zmail模块简介与使用示例
2020/12/19 Python
Python实现网络聊天室的示例代码(支持多人聊天与私聊)
2021/01/27 Python
css3 flex实现div内容水平垂直居中的几种方法
2020/03/27 HTML / CSS
Hotter Shoes英国官网:英伦风格,舒适的鞋子
2017/12/28 全球购物
联想法国官方网站:Lenovo法国
2018/10/18 全球购物
芝加哥牛排公司:Chicago Steak Company
2018/10/31 全球购物
Mountain Hardwear官网:攀岩服装和户外装备
2019/09/26 全球购物
英国珠宝和手表专家:Pleasance & Harper
2020/10/21 全球购物
几个Shell Script面试题
2014/04/18 面试题
化学专业大学生职业生涯规划范文
2014/09/13 职场文书
2015年八一建军节演讲稿
2015/03/19 职场文书
Go语言设计模式之结构型模式
2021/06/22 Golang
教你使用vscode 搭建react-native开发环境
2021/07/07 Javascript
php png失真的原因及解决办法
2021/10/24 PHP