Mysql排序的特性详情


Posted in MySQL onNovember 01, 2021

1、问题场景

新上线一个交易记录导出功能,逻辑很简单:根据查询条件,导出对应的数据。由于数据量比较大,在查询数据库时采用了分页查询,每次查询1000条数据。

自测正常,测试环境正常,上线之后运营反馈导出的数据有重复记录

原本是以为业务逻辑问题,重新Review了一遍代码,依旧未找到问题原因。最后只好把SQL语句拿出来单独执行,导出数据,对比发现竟然是SQL语句查询结果乱序导致的。

2、原因分析

查询语句以create_time进行倒序排序,通过limit进行分页,在正常情况下不会出现问题。但当业务并发量比较大,导致create_time存在大量相同值时,再基于limit进行分页,就会出现乱序问题。

出现的场景是:create_time排序,当create_time存在相同值,通过limit分页,导致分页数据乱序。

比如,查询1000条数据,其中有一批create_time记录值都为”2021-10-28 12:12:12“,当创建时间相同的这些数据,一部分出现在第一页,一部分出现在第二页,在查询第二页的数据时,可能会出现第一页已经查过的数据。

也就是说,数据会来回跳动,一会儿出现在第一页,一会儿出现在第二页,这就导致导出的数据一部分重复,一部分缺失。

查看了Mysql 5.7和8.0的官方文档,描述如下:

If multiple rows have identical values in the ORDER BY columns, the server is free to return those rows in any order, and may do so differently depending on the overall execution plan. In other words, the sort order of those rows is nondeterministic with respect to the nonordered columns.

上述内容概述:在使用ORDER BY对列进行排序时,如果对应(ORDER BY的列)列存在多行相同数据,(Mysql)服务器会按照任意顺序返回这些行,并且可能会根据整体执行计划以不同的方式返回。

简单来说就是:ORDER BY查询的数据,如果ORDER BY列存在多行相同数据,Mysql会随机返回。这就会导致虽然使用了排序,但也会发生乱序的状况。

3、解决方案

针对上述问题,基本的解决思路是:避免ORDER BY列的值出现重复。因此,可以加入其他维度,比如ID等其他排序列。

select * from tb_order order by create_time ,id desc;

这样,在create_time相同时,会根据id进行排序,而id肯定是不同的,就再不会出现上述问题了。

4、拓展知识

其实,上述内容在Mysql的官网已经有明确说明,而且还举了例子。下面对官网的内容和例子做一个简单的汇总总结。

4.1 limit查询优化

如果我们只是查询一个结果集的一部分,那么不要查询所有数据,然后再丢弃不需要的数据,而是要通过limit条件来进行限制。

在没使用having条件时,Mysql可能会对limit条件优化:

  • 如果只查询几条数据,建议使用limit,这样Mysql可能会用到索引,而通常情况下Mysql是全表扫描;
  • 如果将limit row_countorder by结合使用,Mysql会在找到第一个row_count结果集后立刻停止排序,而不是对整个结果集进行排序。如果此时基于索引进行操作,速度会更快。如果必须进行文件排序,在找到row_count结果集之前,会对部分或所有符合条件的结果进行排序。但当找到row_count结果之后,便不会对剩余部分进行排序了。这种特性的一个表现就是我们前面提到的带有limit和不带limit进行查询时,返回的结果顺序可能不同。
  • 如果将limit row_count和distinct结合使用,Mysql会在找到row_count结果集唯一行后立马停止。
  • 在某些情况下,可以通过按照顺序读取索引(或对索引进行排序),然后计算摘要直到索引变化来实现group by。在这种情况下,limit row_count不会计算任何不必要的group by值。
  • 一旦MySQL向客户端发送了所需数量的行,就会中止查询,除非使用了SQL_CALC_FOUND_ROWS。在这种情况下,可以使用 SELECT FOUND_ROWS() 检索行数。
  • LIMIT 0会快速返回一个空集合,通常可用于检查SQL的有效性。还可以用于在应用程序中获得结果集的类型。在Mysql客户端中,可以使用--column-type-info来显示结果列类型。
  • 如果使用临时表来解析查询,Mysql会使用 limit row_count来计算需要多少空间。
  • 如果order by未使用索引,且存在limit条件,则优化器可能会避免使用合并文件,而采用内存filesort操作对内存中的行进行排序。

了解了limit的一些特性,下面再回到本文的重点,limit row_countorder by结合使用特性。

4.2 limit与order by结合使用

在上面第二条中已经提到,limit row_countorder by结合呈现的特性之一就是结果返回的顺序是不确定的。而影响执行计划的一个因素就是limit,因此带有limit与不带有limit执行同样的查询语句,返回结果的顺序可能不同。

下面示例中,根据category列进行排序查询,而id和rating是不确定的:

mysql> SELECT * FROM ratings ORDER BY category;
+----+----------+--------+
| id | category | rating |
+----+----------+--------+
|  1 |        1 |    4.5 |
|  5 |        1 |    3.2 |
|  3 |        2 |    3.7 |
|  4 |        2 |    3.5 |
|  6 |        2 |    3.5 |
|  2 |        3 |    5.0 |
|  7 |        3 |    2.7 |
+----+----------+--------+

当查询语句包含limit时,可能会影响到category值相同的数据:

mysql> SELECT * FROM ratings ORDER BY category LIMIT 5;
+----+----------+--------+
| id | category | rating |
+----+----------+--------+
|  1 |        1 |    4.5 |
|  5 |        1 |    3.2 |
|  4 |        2 |    3.5 |
|  3 |        2 |    3.7 |
|  6 |        2 |    3.5 |
+----+----------+--------+

其中id为3和4的结果位置发生了变化。

在实践中,保持查询结果的顺序性往往非常重要,此时就需要引入其他列来保证结果的顺序性了。

当上述实例引入id之后,查询语句及结果如下:

mysql> SELECT * FROM ratings ORDER BY category, id;
+----+----------+--------+
| id | category | rating |
+----+----------+--------+
|  1 |        1 |    4.5 |
|  5 |        1 |    3.2 |
|  3 |        2 |    3.7 |
|  4 |        2 |    3.5 |
|  6 |        2 |    3.5 |
|  2 |        3 |    5.0 |
|  7 |        3 |    2.7 |
+----+----------+--------+
​
mysql> SELECT * FROM ratings ORDER BY category, id LIMIT 5;
+----+----------+--------+
| id | category | rating |
+----+----------+--------+
|  1 |        1 |    4.5 |
|  5 |        1 |    3.2 |
|  3 |        2 |    3.7 |
|  4 |        2 |    3.5 |
|  6 |        2 |    3.5 |
+----+----------+--------+

可以看出,当添加了id列的排序,即使category相同,也不会出现乱序问题。这正与我们最初的解决方案一致。

5、小结

本来通过实践中偶发的一个坑,聊到了Mysqllimit查询语句的优化,同时提供了解决方案,即满足了业务需求,又避免了业务逻辑的错误。

很多朋友都在使用order bylimit语句进行查询,但如果不知道Mysql的这些优化特性,很可能已经入坑,只不过数据量没有触发呈现而已。

到此这篇关于Mysql排序的特性详情的文章就介绍到这了,更多相关Mysql排序特性内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL基础(二)
Apr 05 MySQL
MySQL索引篇之千万级数据实战测试
Apr 05 MySQL
MySQL5.7并行复制原理及实现
Jun 03 MySQL
MySQL 全文检索的使用示例
Jun 07 MySQL
MySQL索引是啥?不懂就问
Jul 21 MySQL
SQL注入详解及防范方法
Dec 06 MySQL
mysql下的max_allowed_packet参数设置详解
Feb 12 MySQL
mysql的Buffer Pool存储及原理
Apr 02 MySQL
MySQL视图概念以及相关应用
Apr 19 MySQL
MySQL 执行数据库更新update操作的时候数据库卡死了
May 02 MySQL
Mysql中的触发器定义及语法介绍
Jun 25 MySQL
了解MySQL查询语句执行过程(5大组件)
Aug 14 MySQL
MySQL分区表实现按月份归类
Nov 01 #MySQL
MySQL数据库10秒内插入百万条数据的实现
MySQL面试题讲解之如何设置Hash索引
MySQL对数据表已有表进行分区表的实现
Nov 01 #MySQL
mysql分表之后如何平滑上线详解
Nov 01 #MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
You might like
php+mysql 实现身份验证代码
2010/03/24 PHP
PHP异常Parse error: syntax error, unexpected T_VAR错误解决方法
2014/05/06 PHP
Yii框架实现对数据库的CURD操作示例
2019/09/03 PHP
javascript打开新窗口同时关闭旧窗口
2009/01/16 Javascript
JavaScript入门教程(11) js事件处理
2009/01/31 Javascript
js简单实现删除记录时的提示效果
2013/12/05 Javascript
动态的绑定事件addEventListener方法的使用
2014/01/24 Javascript
jQuery学习笔记之 Ajax操作篇(一) - 数据加载
2014/06/23 Javascript
jQuery中:eq()选择器用法实例
2014/12/29 Javascript
JQuery动画与特效实例分析
2015/02/02 Javascript
jQuery构造函数init参数分析续
2015/05/13 Javascript
JS实现兼容各浏览器解析XML文档数据的方法
2015/06/01 Javascript
bootstrap导航条实现代码
2016/12/28 Javascript
微信小程序 传值取值的几种方法总结
2017/01/16 Javascript
bootstrapValidator.min.js表单验证插件
2017/02/09 Javascript
利用Vue.js框架实现火车票查询系统(附源码)
2017/02/27 Javascript
Bootstrap modal 多弹窗之叠加关闭阴影遮罩问题的解决方法
2017/02/27 Javascript
js取小数点后两位四种方法
2019/01/18 Javascript
Node.js API详解之 util模块用法实例分析
2020/05/09 Javascript
ES2020系列之空值合并运算符 '??'
2020/07/22 Javascript
Python多线程编程(二):启动线程的两种方法
2015/04/05 Python
Python+matplotlib+numpy实现在不同平面的二维条形图
2018/01/02 Python
通过pykafka接收Kafka消息队列的方法
2018/12/27 Python
python的mysql数据库建立表与插入数据操作示例
2019/09/30 Python
python构建指数平滑预测模型示例
2019/11/21 Python
python GUI库图形界面开发之PyQt5复选框控件QCheckBox详细使用方法与实例
2020/02/28 Python
Keras框架中的epoch、bacth、batch size、iteration使用介绍
2020/06/10 Python
什么是组件架构
2016/05/15 面试题
护理自我鉴定范文
2013/10/06 职场文书
护理专业自荐信
2013/12/03 职场文书
医科大学生的自我评价
2013/12/04 职场文书
kfc实习自我鉴定
2013/12/14 职场文书
公司员工离职证明书
2014/10/04 职场文书
2015年房产销售工作总结范文
2015/05/22 职场文书
格列夫游记读书笔记
2015/07/01 职场文书
MySQL 数据类型选择原则
2021/05/27 MySQL