MySQL磁盘碎片整理实例演示


Posted in MySQL onApril 03, 2022

数据库引擎以InnoDB为主

1.磁盘碎片是什么

​InnoDB表的数据存储在页中,每个页可以存放多条记录,这些记录以树形结构组织,这棵树称为B+树。

MySQL磁盘碎片整理实例演示

​聚簇索引的叶子结点包含行中所有字段的值,辅助索引的叶子结点包含索引列和主键列。

​在InnoDB中,删除一些行,这些行只是被标记已删除,而不会立即删除,个人认为和电脑的清除磁盘相同,之后可以通过覆盖旧数据实现删除,InnDB的Purge线程会异步的清理这些没用的索引键和行。但是依然不会把这些释放出来的空间还给操作系统重新使用,因此会导致页面中存在很多空洞,如果表结构中包含动态长度字段,这些空间甚至无法被InnoDB重新用来存储新的行。

​另外严重的问题是删除数据会导致页page中出现空白空间,大量随机的Delete操作必然会在数据文件中造成不连续的空白空间,当插入数据时,这些空白空间则会被利用起来,造成了数据的物理存储顺序和逻辑的排序顺序不同,这就是数据碎片。

-- 查看全局变量Purge
show variables like 'innodb_purge_threads';

解释磁盘碎片的英文博客:https://lefred.be/content/overview-of-fragmented-mysql-innodb-tables/

上面这是个大能的博客,写的pretty good!

2.实验

我们首先创建一个具有一百条数据的表来进行实验:

delimiter //
create procedure insertt()
begin
	declare i int DEFAULT 0;
	while i<1000000 do
		insert into temp values(null,'a',1);
		set i:=i+1;
	end while;
end;
//
delimiter ;
drop PROCEDURE insertt;
-- 尝试插入一百万条数据
 
call insertt()
 
-- mysql版本5.7.36
> OK
> 时间: 838.706s

创建后的磁盘存储大小:

MySQL磁盘碎片整理实例演示

​DB:information_scheme中存放我们表的信息,通过下列命令来查看我们的磁盘碎片最大的前五名

-- 别人的博客中copy的,我的猪脑写不出来
SELECT CONCAT(table_schema, '.', table_name) as 'TABLE', 
       ENGINE, CONCAT(ROUND(table_rows / 1000000, 2), 'M')  ROWS, 
       CONCAT(ROUND(data_length / ( 1024 * 1024 * 1024 ), 2), 'G') DATA, 
       CONCAT(ROUND(index_length / ( 1024 * 1024 * 1024 ), 2), 'G') IDX, 
       CONCAT(ROUND(( data_length + index_length ) / ( 1024 * 1024 * 1024 ), 2), 'G') 'TOTAL SIZE', 
       ROUND(index_length / data_length, 2)  IDXFRAC, CONCAT(ROUND(( data_free / 1024 / 1024),2), 'MB') AS data_free 
FROM information_schema.TABLES  
ORDER BY data_length + index_length desc LIMIT 5;

result:

MySQL磁盘碎片整理实例演示

我们可以看到data_free,我们最高的free空间只有6MB

innodb_ruby工具可以直接在linux系统下运行查看.Ibd文件的结构,将B+tree以及磁盘使用暴露出来,但是我不会用,这里带上他的github链接: https://github.com/akopytov/sysbench

下面我们执行删除操作:

-- 删除前五十万条数据
delete from temp order by id LIMIT 500000

文件大小:

MySQL磁盘碎片整理实例演示

删除后,磁盘文件的大小并没有变化,因为删除产生了磁盘碎片,空白page残留在文件中,被删除的数据记录仍然被保持在MySQL的链接清单中,因此数据存储文件的大小并不会随着数据的删除而减小,我们再次使用上述操作查看data_free。

MySQL磁盘碎片整理实例演示

可以看到temp表的data_free增长了。

3.对于碎片回收操作

对MySQL进行碎片整理有两种方法:

OPTIMIZE TABLE

OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE table_name1 [, table_name2] ...

ALTER

ALTER TABLE table_name ENGINE = Innodb

OPTIMIZE可以同时对多个表格进行碎片整理,OPTIMIZE语句有两个可选的关键字:LOCAL和NO_WRITE_TO_BINLOG,默认是每次碎片整理都会被记录到BINlog二进制日志中去,如果带了关键字,就不会被记录到日志中去。

ALTER看起来是执行了一次空操作,重新设置了一遍数据库引擎,同时会进行碎片整理。

两种操作在一定程度是等价的。

使用optimize结果

MySQL磁盘碎片整理实例演示

磁盘文件小了一半左右

MySQL磁盘碎片整理实例演示

alter不再演示

4.后记

1.MySQL官方建议不要经常(每小时或每天)进行碎片整理,一般根据实际情况,只需要每周或者每月整理一次即可。

2.OPTIMIZE TABLE只对MyISAM,BDB和InnoDB表起作用,尤其是MyISAM表的作用最为明显。此外,并不是所有表都需要进行碎片整理,一般只需要对包含上述可变长度的文本数据类型的表进行整理即可。

3.在OPTIMIZE TABLE运行过程中,MySQL会锁定表。

4.默认情况下,直接对InnoDB引擎的数据表使用OPTIMIZE TABLE,可能会显示「 Table does not support optimize, doing recreate + analyze instead」的提示信息。这个时候,我们可以用mysqld --skip-new或者mysqld --safe-mode命令来重启MySQL,以便于让其他引擎支持OPTIMIZE TABLE。

补充:如何优化磁盘空间

1.优化前必看注意事项

①.优化表空间时,会造成锁表

数据量越大的表,优化耗时越长,百万条数据大约耗时30s(约25000-30000行/秒,此数据根据机器磁盘性能会有差异)。所以,在磁盘优化时,所有的增删操作将受限,请选择一个业务空档期执行。

②.间隔多久需要优化一次磁盘碎片?

Mysql官方不建议频繁进行碎片整理,比如每天都整理磁盘。可观测一次优化后,能撑多久才会产生比较大的碎片文件,然后根据这个周期,定制一个定期优化碎片的任务。

如:每周或每月凌晨3点定时清理碎片。

2.如何优化磁盘空间

判断你的数据表的引擎是什么

①.如果引擎是MyISAM,则可以通过下面SQL优化。

-- 优化表空间
optimize table tableName;

注:如果引擎是InnoDB,执行此SQL会提示:Table does not support optimize, doing recreate + analyze instead②.如果引擎是InnoDB,通过下列SQL可以代替optimize table xxx

-- 将表改为InnoDB数据库引擎
ALTER TABLE tableName ENGINE=InnoDB;

-- 分析表,查看表状态
ANALYZE TABLE tableName;

即通过重新将数据库引擎设置为InnoDB的方式,来优化磁盘空间。

到此这篇关于MySQL磁盘碎片整理的文章就介绍到这了,更多相关MySQL碎片整理内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL GRANT用户授权的实现
Jun 18 MySQL
MySql 缓存查询原理与缓存监控和索引监控介绍
Jul 02 MySQL
MySQL中utf8mb4排序规则示例
Aug 02 MySQL
为什么MySQL 删除表数据 磁盘空间还一直被占用
Oct 16 MySQL
mysql 联合索引生效的条件及索引失效的条件
Nov 20 MySQL
MySQL数据库如何给表设置约束详解
Mar 13 MySQL
MySQL的索引你了解吗
Mar 13 MySQL
Mysql多层子查询示例代码(收藏夹案例)
Mar 31 MySQL
Mysql中@和@@符号的详细使用指南
Jun 05 MySQL
MySQL导致索引失效的几种情况
Jun 25 MySQL
Mysql使用全文索引(FullText index)的实例代码
Apr 03 #MySQL
一文简单了解MySQL前缀索引
为什么MySQL不建议使用SELECT *
详解MySQL的主键查询为什么这么快
MySQL表锁、行锁、排它锁及共享锁的使用详解
navicat 连接Ubuntu虚拟机的mysql的操作方法
MySQL中IO问题的深入分析与优化
You might like
咖啡的传说和历史
2021/03/03 新手入门
一个ORACLE分页程序,挺实用的.
2006/10/09 PHP
PHP类中Static方法效率测试代码
2010/10/17 PHP
php使用str_replace实现输入框回车替换br的方法
2014/11/24 PHP
PHP多维数组转一维数组的简单实现方法
2015/12/23 PHP
Mac版PhpStorm之XAMPP整合apache服务器配置的图文教程详解
2016/10/13 PHP
基于laravel belongsTo使用详解
2019/10/18 PHP
用php实现分页效果的示例代码
2020/12/10 PHP
Jqyery中同等与js中windows.onload的应用
2011/05/10 Javascript
jQuery效果 slideToggle() 方法(在隐藏和显示之间切换)
2011/06/28 Javascript
基于JQuery 滑动与动画的说明介绍
2013/04/18 Javascript
AngularJS身份验证的方法
2016/02/17 Javascript
深入解析AngularJS框架中$scope的作用与生命周期
2016/03/05 Javascript
javascript中的 object 和 function小结
2016/08/14 Javascript
jQuery用户头像裁剪插件cropbox.js使用详解
2017/06/07 jQuery
js学习总结之DOM2兼容处理顺序问题的解决方法
2017/07/27 Javascript
node.js中http模块和url模块的简单介绍
2017/10/06 Javascript
浅谈angular4.0中路由传递参数、获取参数最nice的写法
2018/03/12 Javascript
详解vue中的computed的this指向问题
2018/12/05 Javascript
React路由鉴权的实现方法
2019/09/05 Javascript
Vue使用JSEncrypt实现rsa加密及挂载方法
2020/02/07 Javascript
在Python中封装GObject模块进行图形化程序编程的教程
2015/04/14 Python
python实现图片九宫格分割
2021/03/07 Python
8段用于数据清洗Python代码(小结)
2019/10/31 Python
浅谈Python 函数式编程
2020/06/20 Python
python通用数据库操作工具 pydbclib的使用简介
2020/12/21 Python
详解html2canvas截图不能截取圆角图片的解决方案
2018/01/30 HTML / CSS
英国现代家具和照明购物网站:Heal’s
2019/10/30 全球购物
Emma Bridgewater官网:英国餐具制造商
2019/11/24 全球购物
Boolean b = new Boolean(“abcde”); 会编译错误码
2013/11/27 面试题
干部下基层实施方案
2014/03/14 职场文书
高中政治教师教学反思
2016/02/23 职场文书
2019年员工旷工保证书!
2019/06/28 职场文书
基于Redis延迟队列的实现代码
2021/05/13 Redis
我对PyTorch dataloader里的shuffle=True的理解
2021/05/20 Python
Java中常用解析工具jackson及fastjson的使用
2021/06/28 Java/Android