MySQL千万级数据表的优化实战记录


Posted in MySQL onAugust 04, 2021

前言

这里先说明一下,网上很多人说阿里规定500w数据就要分库分表。实际上,这个500w并不是定义死的,而是与MySQL的配置以及机器的硬件有关。MySQL为了提升性能,会将表的索引装载到内存中。但是当表的数据到达一定的量的时候,会导致内存无法存储这些索引,无法存储索引,就只能进行磁盘IO,从而导致性能下降。

实战调优

我这里有张表,数据有1000w,目前只有一个主键索引

CREATE TABLE `user` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `uname` varchar(20) DEFAULT NULL COMMENT '账号',
  `pwd` varchar(20) DEFAULT NULL COMMENT '密码',
  `addr` varchar(80) DEFAULT NULL COMMENT '地址',
  `tel` varchar(20) DEFAULT NULL COMMENT '电话',
  `regtime` char(30) DEFAULT NULL COMMENT '注册时间',
  `age` int(11) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10000003 DEFAULT CHARSET=utf8;

MySQL千万级数据表的优化实战记录

查询所有大概16s。可谓是相当慢了。通常我们一个后台系统,比如这个是一个电商平台,这个是用户表。后台管理系统,一般会查询这些用户信息,做一些操作,比如后台直接新增用户啊,或者删除用户啊这些操作。

所以这里就诞生了两个需求,一个是查询count,一个是分页查询

我们分别来测试一下count用的时间和分页查询所用的时间

select * from user limit 1, 10   //几乎不用时
select * from user limit 1000000, 10  //0.35s
select * from user limit 5000000, 10  //1.7s
select * from user limit 9000000, 10  //2.8s
select count(1) from user  //1.7s

从上面查询所用时间可以看出来,如果是分页查询的话,查询的数据越往后用时是越长的,查询count也需要1.7s。这显然是不符合我们的要求的。所以,这里我们就需要优化。首先我们这里进行索引优化试试
首先看一下这是只有主键索引的执行计划:

MySQL千万级数据表的优化实战记录

alter table `user` add INDEX `sindex` (`uname`,`pwd`,`addr`,`tel`,`regtime`,`age`)

MySQL千万级数据表的优化实战记录

看上面的执行计划,虽然type是从all->index,走了sindex索引,但是实际上查询速度并没有发生改变。

其实,创建联合索引,是为了有条件查询的时候速度更快,而不是全表查询

select * from user where uname='6.445329111484186' //3.5s(无联合索引)
select * from user where uname='6.445329111484186' //0.003s(有联合索引)

所以这就是有联合索引和无索引的差距

这里基本上可以证明,加了索引和不加索引,进行全表查询的时候,效率就是会很慢

既然索引这个结果已经不好使了,那就只能找其他方案了。根据我之前mysql面试里面讲的,count我们可以单独存储到一个表里面

CREATE TABLE `attribute` (
  `id` int(11) NOT NULL,
  `formname` varchar(50) COLLATE utf8_bin NOT NULL COMMENT '表名',
  `formcount` int(11) NOT NULL COMMENT '表总数据',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

MySQL千万级数据表的优化实战记录

这里说一下,这种表一般不会查所有,只会查询一条,所以建表的时候,可以建成hash

select formcount from attribute where formname='user' //几乎不用时

count就进行优化完了。如果上面有选择条件的话,就可以建立索引,通过走索引筛选的形式来查询,这样就可以不用读这个count了。

那么,count是没问题了,分页查询优化要如何优化呢?这里可以使用子查询来优化

select * from user where
id>=(select id from user limit 9000000,1) limit 10 //1.7s

其实子查询这种写法,判断id,其实就是通过覆盖索引来查询。效率会大大增加。不过我这里测试是1.7s,以前在公司优化这方面的时候,比这个查询时间要低,大家也可以自己生成数据自己测试

但是如果说数据量太大了,我还是建议走es或者进行一些默认选择,count可以单独列出来

至此,一个千万级的数据分页查询的优化就完成了。

总结

到此这篇关于MySQL千万级数据表优化的文章就介绍到这了,更多相关MySQL千万级数据表优化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL Innodb关键特性之插入缓冲(insert buffer)
Apr 08 MySQL
MySQL获取所有分类的前N条记录
May 07 MySQL
MySQL 视图(View)原理解析
May 19 MySQL
修改MySQL的默认密码的四种小方法
May 26 MySQL
MySQL查看表和清空表的常用命令总结
May 26 MySQL
浅谈mysql返回Boolean类型的几种情况
Jun 04 MySQL
MySQL如何使用使用Xtrabackup进行备份和恢复
Jun 21 MySQL
MySQL 数据类型详情
Nov 11 MySQL
mysql分组后合并显示一个字段的多条数据方式
Jan 22 MySQL
Mysql调整优化之四种分区方式以及组合分区
Apr 13 MySQL
MySQL详解进行JDBC编程与增删改查方法
Jun 16 MySQL
MySQL串行化隔离级别(间隙锁实现)
Jun 16 MySQL
SQL实现LeetCode(176.第二高薪水)
Aug 04 #MySQL
Mysql8.0递归查询的简单用法示例
Aug 04 #MySQL
SQL之各种join小结详细讲解
SQL实现LeetCode(175.联合两表)
Aug 04 #MySQL
一篇文章带你深入了解Mysql触发器
Aug 02 #MySQL
sql注入教程之类型以及提交注入
MySQL子查询中order by不生效问题的解决方法
Aug 02 #MySQL
You might like
从康盛产品(discuz)提取出来的模板类
2011/06/28 PHP
记录mysql性能查询过程的使用方法
2013/05/02 PHP
PHP 常用时间函数资料整理
2016/10/22 PHP
防止浏览器记住用户名及密码的简单实用方法
2013/04/22 Javascript
jquery异步跨域访问代码
2013/06/28 Javascript
AngularJS入门教程之AngularJS表达式
2016/04/18 Javascript
vueJS简单的点击显示与隐藏的效果【实现代码】
2016/05/03 Javascript
Angular.js中$apply()和$digest()的深入理解
2016/10/13 Javascript
jQuery中的siblings()是什么意思(推荐)
2016/12/29 Javascript
Vue官网todoMVC示例代码
2018/01/29 Javascript
vue使用Element组件时v-for循环里的表单项验证方法
2018/06/28 Javascript
JavaScript闭包原理与用法实例分析
2018/08/10 Javascript
小程序清理本地缓存的方法
2018/08/17 Javascript
jQuery实现的别踩白块小游戏完整示例
2019/01/07 jQuery
vue实现todolist功能、todolist组件拆分及todolist的删除功能
2019/04/11 Javascript
[03:44]2015国际邀请赛选手档案—Cloud9.NoTail
2015/07/28 DOTA
django1.8使用表单上传文件的实现方法
2016/11/04 Python
Python Paramiko模块的安装与使用详解
2016/11/18 Python
Win10下Python环境搭建与配置教程
2016/11/18 Python
python3 webp转gif格式的实现示例
2019/12/10 Python
tensorflow自定义激活函数实例
2020/02/04 Python
tensorflow安装成功import tensorflow 出现问题
2020/04/16 Python
python 操作excel表格的方法
2020/12/05 Python
pycharm 的Structure界面设置操作
2021/02/05 Python
HTML5之SVG 2D入门13—svg对决canvas及长处和适用场景分析
2013/01/30 HTML / CSS
阿联酋航空官方网站:Emirates
2017/10/17 全球购物
阿根廷在线宠物商店:Puppis
2018/03/23 全球购物
中医药大学毕业生自荐信
2013/11/08 职场文书
收银员岗位职责
2014/02/07 职场文书
自我鉴定书
2014/03/24 职场文书
学校清明节活动总结
2014/07/04 职场文书
退休党员个人对照检查材料思想汇报
2014/09/29 职场文书
2014年前台个人工作总结
2014/11/14 职场文书
学校实习推荐信
2015/03/27 职场文书
《雪地里的小画家》教学反思
2016/02/16 职场文书
2007年老电脑安装win11会怎么样? 网友实测win11在老电脑运行良好
2021/11/21 数码科技