MySQL 8.0 Online DDL快速加列的相关总结


Posted in MySQL onJune 02, 2021

问题描述

前几天同事问了我一个问题:业务A从MySQL迁移到MongoDB的原因是什么?

说实话,这个问题还真不好回答,为什么要迁移,一定是遇到了某种瓶颈,可能是数据量也可能是数据类型等,于是我咨询了一下业务,最终得到了答案:这个业务中的某些表,要频繁的加字段。mongodb中加字段的成本几乎没有,而MySQL低版本中加字段的成本还是挺高的。

那么常用的MySQL添加字段的方法有哪些呢?这里我简单列举一下:

1、percona的pt-osc工具

2、github开源项目gh-ost工具

3、MySQL原生Online DDL

MySQL Online DDL加列的历史方法

01 Copy方法

MySQL5.5版本及之前的加列方法:Copy

它的执行示意图如下:

MySQL 8.0 Online DDL快速加列的相关总结

我们有一个原表A,只包含1个字段,它包含1、2、4、6这几条记录,当我们使用Copy算法加列时:

1、创建了一个新的表tmp-A,新表包含2个字段,

2、然后我们把表A的数据全部逐行拷贝到tmp-A这个新表里面,

3、然后用tmp-A表和A表做个交换,

    这样,我们的新表就包含2个字段了。同时需要注意,新表中的数据记录比原表更加紧凑了。原表中可能由于删除了3和5两条记录,使得表中间留下了空洞,或者叫空间碎片。

    可以看到,Copy算法需要拷贝一遍数据,需要额外的存储空间来存储tmp-A这个临时表。另外,在拷贝数据的过程中,表A的写入操作会丢失,也就是说,表A在alter table的过程中不能有数据更新。这可能是一个致命的缺点。

02 Inplace方法

MySQL5.6版本开始引入Online DDL,这个功能使得上面的过程变成了下面这样:

MySQL 8.0 Online DDL快速加列的相关总结

 它的过程和上面的Copy算法有些不同:

1、Online DDL过程中,从表A提取B+树,并存储到一个中间文件tmp-file,而不是中间表tmp-A

2、步骤1执行过程中,对表A的写入,都会记录到row log中

3、步骤1执行完毕后,对tmp-file应用所有的row log,得到一个与表A数据相同的数据文件

4、利用数据文件tmp-file替换表A的数据文件即可。

    这个过程中,由于row log的存在,使得在整个该表过程中,表A是可以进行增删改查的操作的,因为这些操作不会丢失。这也就是为什么把这个过程叫做Online DDL的原因。

    另外,这里需要解释下,Copy算法中生成的tmp-A临时表是在Server层面创建的,而上述Online DDL操作中的tmp-file是在插件式存储引擎Innodb内部生成的,我们把这种在Innodb内部完成的变更操作,称之为Inplace(中文表示原地),也就是不需要将数据挪动到"server层的临时表"。

MySQL8.0.12 引入的Instant方法

    MySQL8.0.12版本引入了Instant的方法,它让加列变得更加简单。instant算法添加列时不再需要 rebuild 整个表,只需要在表的 metadata 中记录新增列的基本信息即可。

    我们来看它的优势,首先我们创建一个表t1,并插入26w条数据,然后分别添加数据列col_1,col_2,col_3,并显示指定加列的算法为copy、inplace、和instant,结果如下:

[test] 23:42:45> select count(1) from t1;
 +----------+
 | count(1) |
 +----------+
 |   262144 |
 +----------+
 1 row in set (0.06 sec)
 
方案一:copy
[test] 23:43:29> alter table t1 add col_1 int,algorithm=copy;  
Query OK, 262144 rows affected (1.48 sec)
Records: 262144  Duplicates: 0  Warnings: 0

方案二:inplace
[test] 23:43:46> alter table t1 add col_2 int,algorithm=inplace; 
Query OK, 0 rows affected (0.58 sec)
Records: 0  Duplicates: 0  Warnings: 0

方案三:instant
[test] 23:44:08> alter table t1 add col_3 int,algorithm=instant; 
Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

m5480:mysqlha_common@10.41.28.124 [test] 23:44:14> show create table t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE `t1` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(10) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `age` int DEFAULT NULL,
  `score` int DEFAULT NULL,
  `col_1` int DEFAULT NULL,
  `col_2` int DEFAULT NULL,
  `col_3` int DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_sco` (`score`)
) ENGINE=InnoDB AUTO_INCREMENT=458730 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci
1 row in set (0.01 sec)

   从结果不难看出,执行时间上:

copy> inplace > instant

与此同时,copy算法的受影响行数是全部表,而inplace和instant的算法影响的行数都是0,说明他们是Online DDL操作。 

    最后,我们还可以通过下面的方法查看instant列的信息:

[test] 23:53:01> SELECT * FROM information_schema.innodb_tables where name like 'test/t1'\G
 *************************** 1. row ***************************
      TABLE_ID: 1079
          NAME: test/t1
          FLAG: 33
        N_COLS: 10
         SPACE: 22
    ROW_FORMAT: Dynamic
 ZIP_PAGE_SIZE: 0
   SPACE_TYPE: Single
 INSTANT_COLS: 6
1 row in set (0.00 sec)

    可以看到,test.t1这个表的instant列序号是6,代表它是这个表的第7个列(列编号从0开始)。

    当然,instant算法不支持删除普通列、无法设置列的顺序、还有一些其他的限制,详情可以查看官方文档:https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html

    但这些限制并不影响它成为一个优秀的DDL功能。 相信通过MySQL版本的不断迭代,在后面的版本中,有更多的变更操作可以用到instant这种高效的算法。

以上就是MySQL 8.0 Online DDL快速加列的相关总结的详细内容,更多关于MySQL DDL快速加列的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
Mysql基础之常见函数
Apr 22 MySQL
MySQL sql_mode的使用详解
May 08 MySQL
MySQL中出现乱码问题的终极解决宝典
May 26 MySQL
MySQL不使用order by实现排名的三种思路总结
Jun 02 MySQL
如何使用分区处理MySQL的亿级数据优化
Jun 18 MySQL
MySQL 数据恢复的多种方法汇总
Jun 21 MySQL
MySQL中几种插入和批量语句实例详解
Sep 14 MySQL
Mysql关于数据库是否应该使用外键约束详解说明
Oct 24 MySQL
sql查询语句之平均分、最高最低分及排序语句
May 30 MySQL
mysql sql常用语句大全
Jun 21 MySQL
MySQL索引失效场景及解决方案
Jul 23 MySQL
MySQL数据库查询之多表查询总结
Aug 05 MySQL
MySQL 常见存储引擎的优劣
Jun 02 #MySQL
Mysql文件存储图文详解
一文读懂navicat for mysql基础知识
Mysql数据库索引面试题(程序员基础技能)
MySQL CHAR和VARCHAR该如何选择
May 31 #MySQL
带你学习MySQL执行计划
May 31 #MySQL
MySQL完整性约束的定义与实例教程
You might like
PHP校验ISBN码的函数代码
2011/01/17 PHP
PHP开发框架kohana3 自定义路由设置示例
2014/07/14 PHP
php上传文件问题汇总
2015/01/30 PHP
PHP实现Snowflake生成分布式唯一ID的方法示例
2020/08/30 PHP
jquery easyui的tabs使用时的问题
2010/03/23 Javascript
css结合js制作下拉菜单示例代码
2014/02/27 Javascript
jquery事件preventDefault()方法用法实例
2015/01/16 Javascript
Javascript毫秒数用法实例
2015/02/05 Javascript
javascript中typeof操作符和constucor属性检测
2015/02/26 Javascript
jQuery实现网页顶部固定导航效果代码
2015/12/24 Javascript
原生JavaScript实现瀑布流布局
2020/06/28 Javascript
浅谈JavaScript中变量和函数声明的提升
2016/08/09 Javascript
vue获取DOM元素并设置属性的两种实现方法
2017/09/30 Javascript
JavaScript中arguments和this对象用法分析
2018/08/08 Javascript
Vue 实时监听窗口变化 windowresize的两种方法
2018/11/06 Javascript
简单实现节流函数和防抖函数过程解析
2019/10/08 Javascript
在vue中利用v-html按分号将文本换行的例子
2019/11/14 Javascript
微信浏览器左上角返回按钮监听的实现
2020/03/04 Javascript
Javascript前端下载后台传来的文件流代码实例
2020/08/18 Javascript
Tensorflow简单验证码识别应用
2017/05/25 Python
Python(Django)项目与Apache的管理交互的方法
2018/05/16 Python
Python DataFrame 设置输出不显示index(索引)值的方法
2018/06/07 Python
django模板加载静态文件的方法步骤
2019/03/01 Python
Tensorflow 实现释放内存
2020/02/03 Python
python 进程池pool使用详解
2020/10/15 Python
详解CSS3新增的背景属性
2019/12/25 HTML / CSS
html通过canvas转成base64的方法
2019/07/18 HTML / CSS
如何实现jdbc性能优化
2012/07/30 面试题
火车的故事教学反思
2014/02/11 职场文书
《乌塔》教学反思
2014/02/17 职场文书
房地产项目建议书
2014/03/12 职场文书
经贸专业毕业生求职信
2014/03/23 职场文书
继续教育个人总结
2015/03/03 职场文书
新闻稿格式范文
2015/07/18 职场文书
2019年恭贺升学祝福语集锦
2019/08/15 职场文书
MySQL如何使备份得数据保持一致
2022/05/02 MySQL