MySQL千万级数据表的优化实战记录


Posted in MySQL onAugust 04, 2021

前言

这里先说明一下,网上很多人说阿里规定500w数据就要分库分表。实际上,这个500w并不是定义死的,而是与MySQL的配置以及机器的硬件有关。MySQL为了提升性能,会将表的索引装载到内存中。但是当表的数据到达一定的量的时候,会导致内存无法存储这些索引,无法存储索引,就只能进行磁盘IO,从而导致性能下降。

实战调优

我这里有张表,数据有1000w,目前只有一个主键索引

CREATE TABLE `user` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `uname` varchar(20) DEFAULT NULL COMMENT '账号',
  `pwd` varchar(20) DEFAULT NULL COMMENT '密码',
  `addr` varchar(80) DEFAULT NULL COMMENT '地址',
  `tel` varchar(20) DEFAULT NULL COMMENT '电话',
  `regtime` char(30) DEFAULT NULL COMMENT '注册时间',
  `age` int(11) DEFAULT NULL COMMENT '年龄',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10000003 DEFAULT CHARSET=utf8;

MySQL千万级数据表的优化实战记录

查询所有大概16s。可谓是相当慢了。通常我们一个后台系统,比如这个是一个电商平台,这个是用户表。后台管理系统,一般会查询这些用户信息,做一些操作,比如后台直接新增用户啊,或者删除用户啊这些操作。

所以这里就诞生了两个需求,一个是查询count,一个是分页查询

我们分别来测试一下count用的时间和分页查询所用的时间

select * from user limit 1, 10   //几乎不用时
select * from user limit 1000000, 10  //0.35s
select * from user limit 5000000, 10  //1.7s
select * from user limit 9000000, 10  //2.8s
select count(1) from user  //1.7s

从上面查询所用时间可以看出来,如果是分页查询的话,查询的数据越往后用时是越长的,查询count也需要1.7s。这显然是不符合我们的要求的。所以,这里我们就需要优化。首先我们这里进行索引优化试试
首先看一下这是只有主键索引的执行计划:

MySQL千万级数据表的优化实战记录

alter table `user` add INDEX `sindex` (`uname`,`pwd`,`addr`,`tel`,`regtime`,`age`)

MySQL千万级数据表的优化实战记录

看上面的执行计划,虽然type是从all->index,走了sindex索引,但是实际上查询速度并没有发生改变。

其实,创建联合索引,是为了有条件查询的时候速度更快,而不是全表查询

select * from user where uname='6.445329111484186' //3.5s(无联合索引)
select * from user where uname='6.445329111484186' //0.003s(有联合索引)

所以这就是有联合索引和无索引的差距

这里基本上可以证明,加了索引和不加索引,进行全表查询的时候,效率就是会很慢

既然索引这个结果已经不好使了,那就只能找其他方案了。根据我之前mysql面试里面讲的,count我们可以单独存储到一个表里面

CREATE TABLE `attribute` (
  `id` int(11) NOT NULL,
  `formname` varchar(50) COLLATE utf8_bin NOT NULL COMMENT '表名',
  `formcount` int(11) NOT NULL COMMENT '表总数据',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

MySQL千万级数据表的优化实战记录

这里说一下,这种表一般不会查所有,只会查询一条,所以建表的时候,可以建成hash

select formcount from attribute where formname='user' //几乎不用时

count就进行优化完了。如果上面有选择条件的话,就可以建立索引,通过走索引筛选的形式来查询,这样就可以不用读这个count了。

那么,count是没问题了,分页查询优化要如何优化呢?这里可以使用子查询来优化

select * from user where
id>=(select id from user limit 9000000,1) limit 10 //1.7s

其实子查询这种写法,判断id,其实就是通过覆盖索引来查询。效率会大大增加。不过我这里测试是1.7s,以前在公司优化这方面的时候,比这个查询时间要低,大家也可以自己生成数据自己测试

但是如果说数据量太大了,我还是建议走es或者进行一些默认选择,count可以单独列出来

至此,一个千万级的数据分页查询的优化就完成了。

总结

到此这篇关于MySQL千万级数据表优化的文章就介绍到这了,更多相关MySQL千万级数据表优化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
Mysql服务添加 iptables防火墙策略的方案
Apr 29 MySQL
MySQL不使用order by实现排名的三种思路总结
Jun 02 MySQL
mysql left join快速转inner join的过程
Jun 30 MySQL
浅谈mysql哪些情况会导致索引失效
Nov 20 MySQL
关于mysql中时间日期类型和字符串类型的选择
Nov 27 MySQL
解决Mysql多行子查询的使用及空值问题
Jan 22 MySQL
MySQL为数据表建立索引的原则详解
Mar 03 MySQL
Mysql如何实现不存在则插入,存在则更新
Mar 25 MySQL
Mysql开启外网访问
May 15 MySQL
详解Mysql数据库平滑扩容解决高并发和大数据量问题
May 25 MySQL
MySQL表字段数量限制及行大小限制详情
Jul 23 MySQL
MySQL性能指标TPS+QPS+IOPS压测
Aug 05 MySQL
SQL实现LeetCode(176.第二高薪水)
Aug 04 #MySQL
Mysql8.0递归查询的简单用法示例
Aug 04 #MySQL
SQL之各种join小结详细讲解
SQL实现LeetCode(175.联合两表)
Aug 04 #MySQL
一篇文章带你深入了解Mysql触发器
Aug 02 #MySQL
sql注入教程之类型以及提交注入
MySQL子查询中order by不生效问题的解决方法
Aug 02 #MySQL
You might like
php实现的支持imagemagick及gd库两种处理的缩略图生成类
2014/09/23 PHP
tp5.1 框架数据库高级查询技巧实例总结
2020/05/25 PHP
双击滚屏-常用推荐
2006/11/29 Javascript
JS 获取span标签中的值的代码 支持ie与firefox
2009/08/24 Javascript
一个js拖拽的效果类和dom-drag.js浅析
2010/07/17 Javascript
JavaScript数据结构与算法之栈详解
2015/03/12 Javascript
JS动态显示表格上下frame的方法
2015/03/31 Javascript
jQuery控制Div拖拽效果完整实例分析
2015/04/15 Javascript
AngularJS实现分页显示数据库信息
2016/07/01 Javascript
JavaScript实现类似拉勾网的鼠标移入移出效果
2016/10/27 Javascript
vue2.0 常用的 UI 库实例讲解
2017/12/12 Javascript
bootstrap中selectpicker下拉框使用方法实例
2018/03/22 Javascript
bootstrap+spring boot实现面包屑导航功能(前端代码)
2019/10/09 Javascript
nuxt 实现在其它js文件中使用store的方式
2020/11/05 Javascript
python脚本实现xls(xlsx)转成csv
2016/04/10 Python
win10系统中安装scrapy-1.1
2016/07/03 Python
用不到50行的Python代码构建最小的区块链
2017/11/16 Python
Python回文字符串及回文数字判定功能示例
2018/03/20 Python
Python和Java的语法对比分析语法简洁上python的确完美胜出
2019/05/10 Python
python实现贪吃蛇游戏源码
2020/03/21 Python
CSS中几个与换行有关的属性简明总结
2014/04/15 HTML / CSS
整理HTML5中表单的常用属性及新属性
2016/02/19 HTML / CSS
Deichmann英国:德国鞋类零售商
2021/01/30 全球购物
在职人员函授期间自我评价分享
2013/11/08 职场文书
小学毕业感言150字
2014/02/05 职场文书
推荐信格式要求
2014/05/09 职场文书
施工安全协议书范本
2014/09/26 职场文书
工作批评与自我批评范文
2014/10/16 职场文书
教师思想工作总结2015
2015/05/13 职场文书
公司员工宿舍管理制度
2015/08/03 职场文书
情感电台广播稿
2015/08/18 职场文书
市语委办2016年第十九届“推普周”活动总结
2016/04/05 职场文书
CSS中em的正确打开方式详解
2021/04/08 HTML / CSS
nginx服务器的下载安装与使用详解
2021/08/02 Servers
Java字符缓冲流BufferedWriter
2022/04/09 Java/Android
浅析JavaScript中的变量提升
2022/06/01 Javascript