MySQL深分页问题解决思路


Posted in MySQL onDecember 24, 2022

一、MySQL深分页问题

我们在日常开发中,查询数据量比较大的时候,后端基本都会通过前端,移动端传过来的页码,每页数据行数,通过SQL中的 limit 进行分页,如果查询页数比较小的时候,不会出现太大问题,但是如果查询页码比较大的时候,性能就会出现急剧下降瓶颈

如:

假设有一个千万量级的表,取1到10条数据

select column_name1,column_name2... from table limit 0,10;
select column_name1,column_name2... from table limit 1000,10;

这两条语句查询时间应该在毫秒级完成

select column_name1,column_name2... from table limit 1000000,10;

这条语句执行之间在秒级完成,查询效率低下,还可能导致接口超时

使用select column_name1,column_name2... from table_name表名 limit offset, rows 的情况下直接⽤limit 1000000,10 扫描的是约100万条数据,并且是需要回表100W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取1000010条数据只留10条记录)

这种查询的慢,其实是因为 limit 后面的偏移量太大导致的

1、limit 语法解读

limit用于数据的分页查询,也会用于数据的截取,limit的用法:

SELECT column_name1,column_name2... FROM table_name表名 LIMIT offset,rows
或
SELECT column_name1,column_name2... FROM table_name表名 LIMIT rows OFFSET offset

注:

table_name :表名

column_name:字段名

第一种:SELECT * FROM table LIMIT offset, rows # 常用形式

-- 从0开始,截取5条记录,即检索行为1到5
SELECT column_name1,column_name2... FROM table_name表名 limit 0,5
-- 注意: 关键字limit后面的两个参与用逗号分割

第二种:SELECT * FROM table LIMIT rows OFFSET offset

-- 从0开始,截取5条记录,即检索行为1到5
SELECT column_name1,column_name2... FROM table_name表名 limit 5 offset 0
-- 注意: 使用limit和offset两个关键字,并且各带一个参数,中间没有逗号分割

第三种:SELECT * FROM table LIMIT rows

-- 截取记录的前五行数据,可以理解为offset的默认值为0
SELECT column_name1,column_name2... FROM table_name表名 limit 5

2、回表

回表,顾名思义就是回到表中,也就是先通过普通索引扫描出数据所在的行,再通过行主键ID取出索引中未包含的数据。所以回表的产生也是需要一定条件的,如果一次索引查询就能获得所有的select记录就不需要回表,如果select所需获得列中有其他的非索引列,就会发生回表动作。即基于非主键索引的查询需要多扫描一棵索引树

主键索引树的叶子节点直接就是我们要查询的整行数据,而非主键索引的叶子节点是主键的值,查到主键的值以后,还需要再通过主键的值再进行一次查询

回表,简单说就是mysql内部需要经过两次查询

第一次先索引扫描,然后再通过主键去取索引中未能提供的数据

create `table` tb_name(
    `id` int(11) not null auto_increment , 
    `k` int(11) default '0' ,
    `name` varchar(16),
    primary key(id)
    index (k)
)engine=InnoDB;

我们提取id=500这一行的全部数据,这里通过主键id定位到这一行,然后返回数据

select * from T where ID=500;
+-----+---+-------+
| id  | k | name  |
+-----+---+-------+
| 500 | 5 | name5 |
+-----+---+-------+

这里我们先通过普通索引,搜索 k 索引树,得到 ID 的值为 500,再到 ID 索引树搜索一次。这个过程即为回表

select * from T where k=5;
+-----+---+-------+
| id  | k | name  |
+-----+---+-------+
| 500 | 5 | name5 |
+-----+---+-------+

二、优化方案

(一)模仿百度、谷歌方案(前端业务控制)

MySQL深分页问题解决思路

类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了

这种方式比较简单粗暴,就是不允许查看这么靠后的数据

(二)索引覆盖 + 子查询

根据主键 id,在上面建了索引,先在索引树中找到开始位置的 id 值,再根据找到的 id 值查询行数据

SELECT 
    id,name,age 
FROM
    t_user user
WHERE
    user.id = (select MIN(id) from t_user where age = #{age})
SELECT 
    id,name,age 
FROM 
    t_user 
WHERE 
    id >= (SELECT id FROM t_user order by id LIMIT 80000,1) 
LIMIT 10

(三)起始位置重定义(记录每次取出的最大id, 然后where id > 最大id)

这种方法适用于:除了主键ID等离散型字段外,也适用连续型字段datetime等

最大id由前端分页 pageNum 和 pageIndex 计算出来

select * from table_name Where id > 最大id limit 10000, 10;

到此这篇关于MySQL深分页问题解决思路的文章就介绍到这了,更多相关MySQL深分页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
详解MySQL 用户权限管理
Apr 20 MySQL
详解MySQL连接挂死的原因
May 18 MySQL
带你学习MySQL执行计划
May 31 MySQL
如何搭建 MySQL 高可用高性能集群
Jun 21 MySQL
MySQL中存储时间的最佳实践指南
Jul 01 MySQL
MySQL基础快速入门知识总结(附思维导图)
Sep 25 MySQL
基于MySql验证的vsftpd虚拟用户
Nov 07 MySQL
mysql5.6主从搭建以及不同步问题详解
Dec 04 MySQL
MySQL分区表管理命令汇总
Mar 21 MySQL
MySQL中order by的执行过程
Jun 05 MySQL
MySQL如何修改字段类型和字段长度
Jun 10 MySQL
MySQL存储过程及语法详解
Aug 05 MySQL
DQL数据查询语句使用示例
Dec 24 #MySQL
mysql数据库如何转移到oracle
Dec 24 #MySQL
mysql序号rownum行号实现方式
Dec 24 #MySQL
Mysql的Table doesn't exist问题及解决
Dec 24 #MySQL
Mysql如何查看是否使用到索引
Dec 24 #MySQL
MySQL新手入门进阶语句汇总
Sep 23 #MySQL
MySQL下载安装配置详细教程 附下载资源
Sep 23 #MySQL
You might like
DC游戏Steam周三特惠 《蝙蝠侠》阿卡姆系列平史低
2020/04/09 欧美动漫
PHP 数组实例说明
2008/08/18 PHP
php制作文本式留言板
2015/03/18 PHP
php微信公众平台开发之获取用户基本信息
2015/08/17 PHP
UPUPW 更新 64 位 Apache 系列 PHP 7.0 正式版
2015/12/08 PHP
Yii2框架中使用PHPExcel导出Excel文件的示例
2017/08/09 PHP
JQuery拖拽元素改变大小尺寸实现代码
2012/12/10 Javascript
使用js正则控制input标签只允许输入的值
2013/07/29 Javascript
jquery trigger伪造a标签的click事件取代window.open方法
2014/06/23 Javascript
js实现的彩色方块飞舞奇幻效果
2016/01/27 Javascript
使用jQuery监听DOM元素大小变化
2016/02/24 Javascript
jQuery基础_入门必看知识点
2016/07/04 Javascript
老生常谈js-react组件生命周期
2017/05/02 Javascript
使用vue实现grid-layout功能实例代码
2018/01/05 Javascript
JS严格模式知识点总结
2018/02/27 Javascript
分享一个vue项目“脚手架”项目的实现步骤
2019/05/26 Javascript
Nodejs libuv运行原理详解
2019/08/21 NodeJs
vue实现图片按比例缩放问题操作
2020/08/11 Javascript
ReactRouter的实现方法
2021/01/25 Javascript
Python计算一个文件里字数的方法
2015/06/15 Python
Python图片裁剪实例代码(如头像裁剪)
2017/06/21 Python
基于anaconda下强大的conda命令介绍
2018/06/11 Python
python pygame实现方向键控制小球
2019/05/17 Python
在Qt中正确的设置窗体的背景图片的几种方法总结
2019/06/19 Python
Django框架表单操作实例分析
2019/11/04 Python
python pygame实现球球大作战
2019/11/25 Python
解决python多线程报错:AttributeError: Can't pickle local object问题
2020/04/08 Python
Python Socket TCP双端聊天功能实现过程详解
2020/06/15 Python
python 实现非极大值抑制算法(Non-maximum suppression, NMS)
2020/10/15 Python
HTTP状态码详解
2021/03/18 杂记
css3中用animation的steps属性制作帧动画
2019/04/25 HTML / CSS
大学生党校培训心得体会
2014/09/11 职场文书
预备党员党支部意见
2015/06/02 职场文书
2015年财务人员个人工作总结
2015/07/27 职场文书
python opencv人脸识别考勤系统的完整源码
2021/04/26 Python
MySQL 数据类型详情
2021/11/11 MySQL