MySQL 8.0 Online DDL快速加列的相关总结


Posted in MySQL onJune 02, 2021

问题描述

前几天同事问了我一个问题:业务A从MySQL迁移到MongoDB的原因是什么?

说实话,这个问题还真不好回答,为什么要迁移,一定是遇到了某种瓶颈,可能是数据量也可能是数据类型等,于是我咨询了一下业务,最终得到了答案:这个业务中的某些表,要频繁的加字段。mongodb中加字段的成本几乎没有,而MySQL低版本中加字段的成本还是挺高的。

那么常用的MySQL添加字段的方法有哪些呢?这里我简单列举一下:

1、percona的pt-osc工具

2、github开源项目gh-ost工具

3、MySQL原生Online DDL

MySQL Online DDL加列的历史方法

01 Copy方法

MySQL5.5版本及之前的加列方法:Copy

它的执行示意图如下:

MySQL 8.0 Online DDL快速加列的相关总结

我们有一个原表A,只包含1个字段,它包含1、2、4、6这几条记录,当我们使用Copy算法加列时:

1、创建了一个新的表tmp-A,新表包含2个字段,

2、然后我们把表A的数据全部逐行拷贝到tmp-A这个新表里面,

3、然后用tmp-A表和A表做个交换,

    这样,我们的新表就包含2个字段了。同时需要注意,新表中的数据记录比原表更加紧凑了。原表中可能由于删除了3和5两条记录,使得表中间留下了空洞,或者叫空间碎片。

    可以看到,Copy算法需要拷贝一遍数据,需要额外的存储空间来存储tmp-A这个临时表。另外,在拷贝数据的过程中,表A的写入操作会丢失,也就是说,表A在alter table的过程中不能有数据更新。这可能是一个致命的缺点。

02 Inplace方法

MySQL5.6版本开始引入Online DDL,这个功能使得上面的过程变成了下面这样:

MySQL 8.0 Online DDL快速加列的相关总结

 它的过程和上面的Copy算法有些不同:

1、Online DDL过程中,从表A提取B+树,并存储到一个中间文件tmp-file,而不是中间表tmp-A

2、步骤1执行过程中,对表A的写入,都会记录到row log中

3、步骤1执行完毕后,对tmp-file应用所有的row log,得到一个与表A数据相同的数据文件

4、利用数据文件tmp-file替换表A的数据文件即可。

    这个过程中,由于row log的存在,使得在整个该表过程中,表A是可以进行增删改查的操作的,因为这些操作不会丢失。这也就是为什么把这个过程叫做Online DDL的原因。

    另外,这里需要解释下,Copy算法中生成的tmp-A临时表是在Server层面创建的,而上述Online DDL操作中的tmp-file是在插件式存储引擎Innodb内部生成的,我们把这种在Innodb内部完成的变更操作,称之为Inplace(中文表示原地),也就是不需要将数据挪动到"server层的临时表"。

MySQL8.0.12 引入的Instant方法

    MySQL8.0.12版本引入了Instant的方法,它让加列变得更加简单。instant算法添加列时不再需要 rebuild 整个表,只需要在表的 metadata 中记录新增列的基本信息即可。

    我们来看它的优势,首先我们创建一个表t1,并插入26w条数据,然后分别添加数据列col_1,col_2,col_3,并显示指定加列的算法为copy、inplace、和instant,结果如下:

[test] 23:42:45> select count(1) from t1;
 +----------+
 | count(1) |
 +----------+
 |   262144 |
 +----------+
 1 row in set (0.06 sec)
 
方案一:copy
[test] 23:43:29> alter table t1 add col_1 int,algorithm=copy;  
Query OK, 262144 rows affected (1.48 sec)
Records: 262144  Duplicates: 0  Warnings: 0

方案二:inplace
[test] 23:43:46> alter table t1 add col_2 int,algorithm=inplace; 
Query OK, 0 rows affected (0.58 sec)
Records: 0  Duplicates: 0  Warnings: 0

方案三:instant
[test] 23:44:08> alter table t1 add col_3 int,algorithm=instant; 
Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

m5480:mysqlha_common@10.41.28.124 [test] 23:44:14> show create table t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE `t1` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(10) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `age` int DEFAULT NULL,
  `score` int DEFAULT NULL,
  `col_1` int DEFAULT NULL,
  `col_2` int DEFAULT NULL,
  `col_3` int DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_sco` (`score`)
) ENGINE=InnoDB AUTO_INCREMENT=458730 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci
1 row in set (0.01 sec)

   从结果不难看出,执行时间上:

copy> inplace > instant

与此同时,copy算法的受影响行数是全部表,而inplace和instant的算法影响的行数都是0,说明他们是Online DDL操作。 

    最后,我们还可以通过下面的方法查看instant列的信息:

[test] 23:53:01> SELECT * FROM information_schema.innodb_tables where name like 'test/t1'\G
 *************************** 1. row ***************************
      TABLE_ID: 1079
          NAME: test/t1
          FLAG: 33
        N_COLS: 10
         SPACE: 22
    ROW_FORMAT: Dynamic
 ZIP_PAGE_SIZE: 0
   SPACE_TYPE: Single
 INSTANT_COLS: 6
1 row in set (0.00 sec)

    可以看到,test.t1这个表的instant列序号是6,代表它是这个表的第7个列(列编号从0开始)。

    当然,instant算法不支持删除普通列、无法设置列的顺序、还有一些其他的限制,详情可以查看官方文档:https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html

    但这些限制并不影响它成为一个优秀的DDL功能。 相信通过MySQL版本的不断迭代,在后面的版本中,有更多的变更操作可以用到instant这种高效的算法。

以上就是MySQL 8.0 Online DDL快速加列的相关总结的详细内容,更多关于MySQL DDL快速加列的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL复制问题的三个参数分析
Apr 07 MySQL
MySQL如何构建数据表索引
May 13 MySQL
mysql配置SSL证书登录的实现
Sep 04 MySQL
Mysql案例刨析事务隔离级别
Sep 25 MySQL
MySQL分区表实现按月份归类
Nov 01 MySQL
Linux7.6二进制安装Mysql8.0.27详细操作步骤
Nov 27 MySQL
MySQL七大JOIN的具体使用
Feb 28 MySQL
分享MySQL常用 内核 Debug 几种常见方法
Mar 17 MySQL
MySql重置root密码 --skip-grant-tables
Apr 11 MySQL
MySql数据库 查询时间序列间隔
May 11 MySQL
MySQL数据库简介与基本操作
May 30 MySQL
MySQL解决Navicat设置默认字符串时的报错问题
Jun 16 MySQL
MySQL 常见存储引擎的优劣
Jun 02 #MySQL
Mysql文件存储图文详解
一文读懂navicat for mysql基础知识
Mysql数据库索引面试题(程序员基础技能)
MySQL CHAR和VARCHAR该如何选择
May 31 #MySQL
带你学习MySQL执行计划
May 31 #MySQL
MySQL完整性约束的定义与实例教程
You might like
PHP 基于文件头的文件类型验证类函数
2012/05/01 PHP
PHP合并静态文件详解
2014/11/14 PHP
10条php编程小技巧
2015/07/07 PHP
thinkphp,onethink和thinkox中验证码不显示的解决方法分析
2016/06/06 PHP
php 类中的常量、静态属性、非静态属性的区别
2017/04/09 PHP
基于PHP实现用户登录注册功能的详细教程
2020/08/04 PHP
jQuery 点击图片跳转上一张或下一张功能的实现代码
2010/03/12 Javascript
jquery png 透明解决方案(推荐)
2010/08/21 Javascript
ajax java 实现自动完成功能
2012/12/19 Javascript
Javascript访问器属性实例分析
2014/12/30 Javascript
AngularJS  ng-table插件设置排序
2016/09/21 Javascript
js canvas仿支付宝芝麻信用分仪表盘
2016/11/16 Javascript
一个非常好用的文字滚动的案例,鼠标悬浮可暂停[两种方案任选]
2016/12/01 Javascript
微信小程序scroll-view组件实现滚动动画
2018/01/31 Javascript
JS实现匀速与减速缓慢运动的动画效果封装示例
2018/08/27 Javascript
nodejs同步调用获取mysql数据时遇到的大坑
2019/03/02 NodeJs
浅谈Webpack多页应用HMR卡住问题
2019/04/24 Javascript
Node使用Selenium进行前端自动化操作的代码实现
2019/10/10 Javascript
[55:18]Liquid vs Chaos 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
Python3下错误AttributeError: ‘dict’ object has no attribute’iteritems‘的分析与解决
2017/07/06 Python
ubuntu中配置pyqt4环境教程
2017/12/27 Python
Python Numpy 数组的初始化和基本操作
2018/03/13 Python
python获取文件真实链接的方法,针对于302返回码
2018/05/14 Python
Python爬取qq空间说说的实例代码
2018/08/17 Python
django如何通过类视图使用装饰器
2019/07/24 Python
Pytorch反向求导更新网络参数的方法
2019/08/17 Python
Python list与NumPy array 区分详解
2019/11/06 Python
tensorflow 重置/清除计算图的实现
2020/01/19 Python
python 自定义异常和主动抛出异常(raise)的操作
2020/12/11 Python
英国领先的高街书籍专家:Waterstones
2018/02/01 全球购物
企业员工集体活动方案
2014/08/17 职场文书
个人剖析材料范文
2014/09/30 职场文书
搞笑的爱情检讨书
2014/10/01 职场文书
2014年作风建设剖析材料
2014/10/23 职场文书
兵马俑的导游词
2015/02/02 职场文书
2016年党风廉政建设承诺书
2016/03/25 职场文书