MySQL 8.0 Online DDL快速加列的相关总结


Posted in MySQL onJune 02, 2021

问题描述

前几天同事问了我一个问题:业务A从MySQL迁移到MongoDB的原因是什么?

说实话,这个问题还真不好回答,为什么要迁移,一定是遇到了某种瓶颈,可能是数据量也可能是数据类型等,于是我咨询了一下业务,最终得到了答案:这个业务中的某些表,要频繁的加字段。mongodb中加字段的成本几乎没有,而MySQL低版本中加字段的成本还是挺高的。

那么常用的MySQL添加字段的方法有哪些呢?这里我简单列举一下:

1、percona的pt-osc工具

2、github开源项目gh-ost工具

3、MySQL原生Online DDL

MySQL Online DDL加列的历史方法

01 Copy方法

MySQL5.5版本及之前的加列方法:Copy

它的执行示意图如下:

MySQL 8.0 Online DDL快速加列的相关总结

我们有一个原表A,只包含1个字段,它包含1、2、4、6这几条记录,当我们使用Copy算法加列时:

1、创建了一个新的表tmp-A,新表包含2个字段,

2、然后我们把表A的数据全部逐行拷贝到tmp-A这个新表里面,

3、然后用tmp-A表和A表做个交换,

    这样,我们的新表就包含2个字段了。同时需要注意,新表中的数据记录比原表更加紧凑了。原表中可能由于删除了3和5两条记录,使得表中间留下了空洞,或者叫空间碎片。

    可以看到,Copy算法需要拷贝一遍数据,需要额外的存储空间来存储tmp-A这个临时表。另外,在拷贝数据的过程中,表A的写入操作会丢失,也就是说,表A在alter table的过程中不能有数据更新。这可能是一个致命的缺点。

02 Inplace方法

MySQL5.6版本开始引入Online DDL,这个功能使得上面的过程变成了下面这样:

MySQL 8.0 Online DDL快速加列的相关总结

 它的过程和上面的Copy算法有些不同:

1、Online DDL过程中,从表A提取B+树,并存储到一个中间文件tmp-file,而不是中间表tmp-A

2、步骤1执行过程中,对表A的写入,都会记录到row log中

3、步骤1执行完毕后,对tmp-file应用所有的row log,得到一个与表A数据相同的数据文件

4、利用数据文件tmp-file替换表A的数据文件即可。

    这个过程中,由于row log的存在,使得在整个该表过程中,表A是可以进行增删改查的操作的,因为这些操作不会丢失。这也就是为什么把这个过程叫做Online DDL的原因。

    另外,这里需要解释下,Copy算法中生成的tmp-A临时表是在Server层面创建的,而上述Online DDL操作中的tmp-file是在插件式存储引擎Innodb内部生成的,我们把这种在Innodb内部完成的变更操作,称之为Inplace(中文表示原地),也就是不需要将数据挪动到"server层的临时表"。

MySQL8.0.12 引入的Instant方法

    MySQL8.0.12版本引入了Instant的方法,它让加列变得更加简单。instant算法添加列时不再需要 rebuild 整个表,只需要在表的 metadata 中记录新增列的基本信息即可。

    我们来看它的优势,首先我们创建一个表t1,并插入26w条数据,然后分别添加数据列col_1,col_2,col_3,并显示指定加列的算法为copy、inplace、和instant,结果如下:

[test] 23:42:45> select count(1) from t1;
 +----------+
 | count(1) |
 +----------+
 |   262144 |
 +----------+
 1 row in set (0.06 sec)
 
方案一:copy
[test] 23:43:29> alter table t1 add col_1 int,algorithm=copy;  
Query OK, 262144 rows affected (1.48 sec)
Records: 262144  Duplicates: 0  Warnings: 0

方案二:inplace
[test] 23:43:46> alter table t1 add col_2 int,algorithm=inplace; 
Query OK, 0 rows affected (0.58 sec)
Records: 0  Duplicates: 0  Warnings: 0

方案三:instant
[test] 23:44:08> alter table t1 add col_3 int,algorithm=instant; 
Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

m5480:mysqlha_common@10.41.28.124 [test] 23:44:14> show create table t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE `t1` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(10) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `age` int DEFAULT NULL,
  `score` int DEFAULT NULL,
  `col_1` int DEFAULT NULL,
  `col_2` int DEFAULT NULL,
  `col_3` int DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_sco` (`score`)
) ENGINE=InnoDB AUTO_INCREMENT=458730 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci
1 row in set (0.01 sec)

   从结果不难看出,执行时间上:

copy> inplace > instant

与此同时,copy算法的受影响行数是全部表,而inplace和instant的算法影响的行数都是0,说明他们是Online DDL操作。 

    最后,我们还可以通过下面的方法查看instant列的信息:

[test] 23:53:01> SELECT * FROM information_schema.innodb_tables where name like 'test/t1'\G
 *************************** 1. row ***************************
      TABLE_ID: 1079
          NAME: test/t1
          FLAG: 33
        N_COLS: 10
         SPACE: 22
    ROW_FORMAT: Dynamic
 ZIP_PAGE_SIZE: 0
   SPACE_TYPE: Single
 INSTANT_COLS: 6
1 row in set (0.00 sec)

    可以看到,test.t1这个表的instant列序号是6,代表它是这个表的第7个列(列编号从0开始)。

    当然,instant算法不支持删除普通列、无法设置列的顺序、还有一些其他的限制,详情可以查看官方文档:https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html

    但这些限制并不影响它成为一个优秀的DDL功能。 相信通过MySQL版本的不断迭代,在后面的版本中,有更多的变更操作可以用到instant这种高效的算法。

以上就是MySQL 8.0 Online DDL快速加列的相关总结的详细内容,更多关于MySQL DDL快速加列的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL 可扩展设计的基本原则
May 14 MySQL
详解mysql三值逻辑与NULL
May 19 MySQL
Mysql 如何实现多张无关联表查询数据并分页
Jun 05 MySQL
浅谈MySQL之浅入深出页原理
Jun 23 MySQL
mysql函数全面总结
Nov 11 MySQL
MySQL Innodb索引机制详细介绍
Nov 23 MySQL
浅谈MySQL中的六种日志
Mar 23 MySQL
mysql中如何用命令创建联合唯一索引
Apr 20 MySQL
Mysql 文件配置解析介绍
May 06 MySQL
MySQL查询日期时间
May 15 MySQL
Mysql索引失效 数据库表中有索引还是查询很慢
May 15 MySQL
MySQL数据管理操作示例讲解
Dec 24 MySQL
MySQL 常见存储引擎的优劣
Jun 02 #MySQL
Mysql文件存储图文详解
一文读懂navicat for mysql基础知识
Mysql数据库索引面试题(程序员基础技能)
MySQL CHAR和VARCHAR该如何选择
May 31 #MySQL
带你学习MySQL执行计划
May 31 #MySQL
MySQL完整性约束的定义与实例教程
You might like
PHP编程之高级技巧——利用Mysql函数
2006/10/09 PHP
php预定义常量
2006/12/25 PHP
在WINDOWS中设置计划任务执行PHP文件的方法
2011/12/19 PHP
php的curl封装类用法实例
2014/11/07 PHP
PHP向socket服务器收发数据的方法
2015/01/24 PHP
PHP实现的通过参数生成MYSQL语句类完整实例
2016/04/11 PHP
javascript两段代码,两个小技巧
2010/02/04 Javascript
jquery中动态效果小结
2010/12/16 Javascript
js关闭子窗体刷新父窗体实现方法
2012/12/04 Javascript
jQuery编辑器KindEditor4.1.4代码高亮显示设置教程
2013/03/01 Javascript
jQuery数据缓存功能的实现思路及简单模拟
2013/05/27 Javascript
ie中js创建checkbox默认选中问题探讨
2013/10/21 Javascript
jquery获得keycode的示例代码
2013/12/30 Javascript
对象转换为原始值的实现方法
2016/06/06 Javascript
jQuery实现区域打印功能代码详解
2016/06/17 Javascript
JS 拼凑字符串的简单实例
2016/09/02 Javascript
JS批量替换内容中关键词为超链接
2017/02/20 Javascript
vue中如何创建多个ueditor实例教程
2017/11/14 Javascript
浅谈JavaScript_DOM学习篇_图片切换小案例
2019/03/19 Javascript
javascript设计模式 ? 组合模式原理与应用实例分析
2020/04/14 Javascript
Python深入学习之特殊方法与多范式
2014/08/31 Python
Python安装第三方库的3种方法
2015/06/21 Python
Python 内置函数complex详解
2016/10/23 Python
python让列表倒序输出的实例
2018/06/25 Python
Python/ArcPy遍历指定目录中的MDB文件方法
2018/10/27 Python
python+selenium实现自动抢票功能实例代码
2018/11/23 Python
Python判断telnet通不通的实例
2019/01/26 Python
Python PO设计模式的具体使用
2019/08/16 Python
python如何保证输入键入数字的方法
2019/08/23 Python
英国信箱在线鲜花速递公司:Bloom & Wild
2019/03/10 全球购物
国际商务专业职业生涯规划书范文
2014/01/17 职场文书
新学期校长寄语
2014/01/18 职场文书
清明节扫墓活动方案
2014/03/02 职场文书
农村党员对照检查材料
2014/09/24 职场文书
简单的辞职信范文(2016最新版)
2015/05/12 职场文书
2015元旦感言
2015/12/09 职场文书