MySQL深分页问题解决思路


Posted in MySQL onDecember 24, 2022

一、MySQL深分页问题

我们在日常开发中,查询数据量比较大的时候,后端基本都会通过前端,移动端传过来的页码,每页数据行数,通过SQL中的 limit 进行分页,如果查询页数比较小的时候,不会出现太大问题,但是如果查询页码比较大的时候,性能就会出现急剧下降瓶颈

如:

假设有一个千万量级的表,取1到10条数据

select column_name1,column_name2... from table limit 0,10;
select column_name1,column_name2... from table limit 1000,10;

这两条语句查询时间应该在毫秒级完成

select column_name1,column_name2... from table limit 1000000,10;

这条语句执行之间在秒级完成,查询效率低下,还可能导致接口超时

使用select column_name1,column_name2... from table_name表名 limit offset, rows 的情况下直接⽤limit 1000000,10 扫描的是约100万条数据,并且是需要回表100W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取1000010条数据只留10条记录)

这种查询的慢,其实是因为 limit 后面的偏移量太大导致的

1、limit 语法解读

limit用于数据的分页查询,也会用于数据的截取,limit的用法:

SELECT column_name1,column_name2... FROM table_name表名 LIMIT offset,rows
或
SELECT column_name1,column_name2... FROM table_name表名 LIMIT rows OFFSET offset

注:

table_name :表名

column_name:字段名

第一种:SELECT * FROM table LIMIT offset, rows # 常用形式

-- 从0开始,截取5条记录,即检索行为1到5
SELECT column_name1,column_name2... FROM table_name表名 limit 0,5
-- 注意: 关键字limit后面的两个参与用逗号分割

第二种:SELECT * FROM table LIMIT rows OFFSET offset

-- 从0开始,截取5条记录,即检索行为1到5
SELECT column_name1,column_name2... FROM table_name表名 limit 5 offset 0
-- 注意: 使用limit和offset两个关键字,并且各带一个参数,中间没有逗号分割

第三种:SELECT * FROM table LIMIT rows

-- 截取记录的前五行数据,可以理解为offset的默认值为0
SELECT column_name1,column_name2... FROM table_name表名 limit 5

2、回表

回表,顾名思义就是回到表中,也就是先通过普通索引扫描出数据所在的行,再通过行主键ID取出索引中未包含的数据。所以回表的产生也是需要一定条件的,如果一次索引查询就能获得所有的select记录就不需要回表,如果select所需获得列中有其他的非索引列,就会发生回表动作。即基于非主键索引的查询需要多扫描一棵索引树

主键索引树的叶子节点直接就是我们要查询的整行数据,而非主键索引的叶子节点是主键的值,查到主键的值以后,还需要再通过主键的值再进行一次查询

回表,简单说就是mysql内部需要经过两次查询

第一次先索引扫描,然后再通过主键去取索引中未能提供的数据

create `table` tb_name(
    `id` int(11) not null auto_increment , 
    `k` int(11) default '0' ,
    `name` varchar(16),
    primary key(id)
    index (k)
)engine=InnoDB;

我们提取id=500这一行的全部数据,这里通过主键id定位到这一行,然后返回数据

select * from T where ID=500;
+-----+---+-------+
| id  | k | name  |
+-----+---+-------+
| 500 | 5 | name5 |
+-----+---+-------+

这里我们先通过普通索引,搜索 k 索引树,得到 ID 的值为 500,再到 ID 索引树搜索一次。这个过程即为回表

select * from T where k=5;
+-----+---+-------+
| id  | k | name  |
+-----+---+-------+
| 500 | 5 | name5 |
+-----+---+-------+

二、优化方案

(一)模仿百度、谷歌方案(前端业务控制)

MySQL深分页问题解决思路

类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了

这种方式比较简单粗暴,就是不允许查看这么靠后的数据

(二)索引覆盖 + 子查询

根据主键 id,在上面建了索引,先在索引树中找到开始位置的 id 值,再根据找到的 id 值查询行数据

SELECT 
    id,name,age 
FROM
    t_user user
WHERE
    user.id = (select MIN(id) from t_user where age = #{age})
SELECT 
    id,name,age 
FROM 
    t_user 
WHERE 
    id >= (SELECT id FROM t_user order by id LIMIT 80000,1) 
LIMIT 10

(三)起始位置重定义(记录每次取出的最大id, 然后where id > 最大id)

这种方法适用于:除了主键ID等离散型字段外,也适用连续型字段datetime等

最大id由前端分页 pageNum 和 pageIndex 计算出来

select * from table_name Where id > 最大id limit 10000, 10;

到此这篇关于MySQL深分页问题解决思路的文章就介绍到这了,更多相关MySQL深分页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
mysql多表查询-笔记七
Apr 05 MySQL
MySQL update set 和 and的区别
May 08 MySQL
MySQL表字段时间设置默认值
May 13 MySQL
详解MySQL连接挂死的原因
May 18 MySQL
解析MySQL binlog
Jun 11 MySQL
浅析MySQL如何实现事务隔离
Jun 26 MySQL
MySQL系列之二 多实例配置
Jul 02 MySQL
SQL实战演练之网上商城数据库商品类别数据操作
Oct 24 MySQL
MySQL中varchar和char类型的区别
Nov 17 MySQL
Mysql Innodb存储引擎之索引与算法
Feb 15 MySQL
一文搞清楚MySQL count(*)、count(1)、count(col)区别
Mar 03 MySQL
MySQL 数据库 增删查改、克隆、外键 等操作
May 11 MySQL
DQL数据查询语句使用示例
Dec 24 #MySQL
mysql数据库如何转移到oracle
Dec 24 #MySQL
mysql序号rownum行号实现方式
Dec 24 #MySQL
Mysql的Table doesn't exist问题及解决
Dec 24 #MySQL
Mysql如何查看是否使用到索引
Dec 24 #MySQL
MySQL新手入门进阶语句汇总
Sep 23 #MySQL
MySQL下载安装配置详细教程 附下载资源
Sep 23 #MySQL
You might like
受疫情影响 动画《Re从零开始的异世界生活》第二季延期至7月
2020/03/10 日漫
做一个有下拉功能的留言版
2006/10/09 PHP
使用PHP会话(Session)实现用户登陆功能
2013/06/29 PHP
php实现mysql备份恢复分卷处理的方法
2014/12/26 PHP
PHP实现懒加载的方法
2015/03/07 PHP
注意!PHP 7中不要做的10件事
2016/09/18 PHP
ThinkPHP框架实现的邮箱激活功能示例
2018/06/15 PHP
PHP+redis实现微博的拉模型案例详解
2019/07/10 PHP
laravel 字段格式化 modle 字段类型转换方法
2019/09/30 PHP
php使用redis的几种常见操作方式和用法示例
2020/02/20 PHP
js 目录列举函数
2008/11/06 Javascript
为EasyUI的Tab标签添加右键菜单的方法
2012/07/14 Javascript
js 控制图片大小核心讲解
2013/10/09 Javascript
jquery的live使用注意事项
2014/02/18 Javascript
jQuery模拟点击A标记示例参考
2014/04/17 Javascript
基于NodeJS的前后端分离的思考与实践(一)全栈式开发
2014/09/26 NodeJs
JS判断日期格式是否合法的简单实例
2016/07/11 Javascript
基于Bootstrap仿淘宝分页控件实现代码
2016/11/07 Javascript
Vue + Webpack + Vue-loader学习教程之相关配置篇
2017/03/14 Javascript
基于JavaScript实现类名的添加与移除
2017/04/23 Javascript
React Native 截屏组件的示例代码
2017/12/06 Javascript
在vue-cli项目中使用bootstrap的方法示例
2018/04/21 Javascript
python发送伪造的arp请求
2014/01/09 Python
详解Python中 sys.argv[]的用法简明解释
2017/12/20 Python
Python 运行 shell 获取输出结果的实例
2019/01/07 Python
如何在VSCode上轻松舒适的配置Python的方法步骤
2019/10/28 Python
Python爬虫:Request Payload和Form Data的简单区别说明
2020/04/30 Python
利用HTML5+CSS3实现3D转换效果实例详解
2017/05/02 HTML / CSS
波兰最早的运动鞋精品店之一:Street Supply
2019/08/29 全球购物
Linux操作面试题
2015/02/11 面试题
自我评价范文
2013/12/22 职场文书
法人委托书范本
2014/04/04 职场文书
产品开发计划书
2014/04/27 职场文书
博物馆观后感
2015/06/05 职场文书
导游词之永泰公主墓
2019/12/04 职场文书
MySQL count(*)统计总数问题汇总
2022/09/23 MySQL