Mysql Online DDL的使用详解


Posted in MySQL onMay 20, 2021

正文

Online DDL在MySQL 5.6才开始支持的,在5.5及之前版本,使用alter table/create index等命令进行表结构修改操作均会锁表,这在生产环境上明显是不可接受的。

在MySQL 5.7,Online DDL在性能和稳定性上不断得到优化,性能有显著优势,且对业务负载影响小,停写时间可控,相对pt-osc/gh-ost来说,无需安装第三方依赖包,同时支持Inplace算法的Online DDL,由于无需拷表,所需磁盘空间也更小。

先来看一个常见的DDL语句:

ALTER TABLE tbl_name ADD PRIMARY KEY (column), ALGORITHM=INPLACE, LOCK=NONE;

其中,LOCK描述了DDL期间运行的并发程度,ALGORITHM描述了DDL的实现方式

LOCK参数

  1. LOCK=NONE:允许并发的查询和DML操作
  2. LOCK=SHARED:允许并发的查询,但阻塞DML操作
  3. LOCK=DEFAULT: 由系统决定,允许尽可能多的并发性(并发查询、DML或两者)。如果省略LOCK子句相当于指定LOCK=DEFAULT
  4. LOCK=EXCLUSIVE:阻塞并发查询和DML操作。

ALGORITHM参数

  1. ALGORITHM=COPY:采用拷表方式进行表变更,与pt-osc/gh-ost类似;
  2. ALGORITHM=INPLACE:仅需要进行引擎层数据改动,不涉及Server层;

COPY TABLE流程

  1. 首先建立临时表,表结构为ALTAR TABLE更改后的结构
  2. 将原表中数据导入到临时表(server层创建临时表,会有显示的IBD文件)
  3. 删除原表
  4. 将临时表rename为原来的表名

同时这一过程中,为了保持数据的一致性,中间复制数据时(Copy Table)全程锁表只读,如果有写请求进来将无法提供服务,将导致连接数爆张。

IN-PLACE流程

  1. 建立一个临时文件,扫描原表主键的所有数据页
  2. 用数据页中原表记录生成B+树,存储到临时文件中(innodb_temp_data_file_path临时表空间下创建临时文件)
  3. 生成临时文件的过程中,将所有对原表的操作记在一个日志文件(rowlog)中
  4. 临时文件生成后,将日志文件中的操作应用到临时文件,得到一个辑数据上与原表相同
  5. 数据文件(日志文件记录和重放操作)
  6. 用临时文件替换原表数据文件

这一过程中,alter 语句在启动的时候获取MDL写锁,但是这个写锁在真正拷贝数据之前就退化成读锁,也就是说在最耗时的copy数据到临时文件的过程中,原表是可以进行dml操作的,仅仅会在最后的新旧表切换阶段加锁,这个rename的时间就非常快了。

允许并发DML的DDL操作

  • 创建/新增二级索引
  • 重命名二级索引
  • 删除二级索引
  • 改变索引类型(USING {BTREE | HASH})
  • 添加主键(expensive cost)
  • 删除主键并增加另一个(expensive cost)(ALTER TABLE tbl_name DROP PRIMARY KEY, ADD PRIMARY KEY (column), ALGORITHM=INPLACE, LOCK=NONE;)
  • 新增列 (expensive cost)
  • 删除列 (expensive cost)
  • 重命名列
  • 列重新排序 (expensive cost)
  • 改变列默认值
  • 删除列默认值
  • 改变列自增值
  • 设置列属性null/not null (expensive cost)
  • 修改枚举或集合列的定义
  • Change ROW_FORMAT
  • Change key block size

标记为expensive cost的操作虽然允许OnlineDDL,但本身对服务器IO,CPU都会造成较高负担,同时会导致复制阻塞,造成另一种形式的从库复制延迟,所以如果是大表,建议业务低峰期执行

不允许并发DML的DDL操作

  • 添加全文索引
  • 添加空间索引
  • 删除主键
  • 改变列数据类型
  • 添加自增列(新增列->变为自增列)
  • 变更表字符集
  • 修改数据类型长度
    • 特例:varchar字符长度从10变更到小于255 采用inplace方式不会锁表;从255变更到10会锁表;

以上就是Mysql Online DDL的使用详解的详细内容,更多关于Mysql Online DDL的使用的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL表的增删改查(基础)
Apr 05 MySQL
MySQL 重写查询语句的三种策略
May 10 MySQL
Mysql文件存储图文详解
Jun 01 MySQL
Mysql systemctl start mysqld报错的问题解决
Jun 03 MySQL
MySQL 外键约束和表关系相关总结
Jun 20 MySQL
MySQL连接控制插件介绍
Sep 25 MySQL
mysql5.7的安装及Navicate长久免费使用的实现过程
Nov 17 MySQL
MySQL sql模式设置引起的问题
May 15 MySQL
MySql中的json_extract函数处理json字段详情
Jun 05 MySQL
mysql幻读详解实例以及解决办法
Jun 16 MySQL
MySQL导致索引失效的几种情况
Jun 25 MySQL
MySQL新手入门进阶语句汇总
Sep 23 MySQL
MySQL 存储过程的优缺点分析
May 20 #MySQL
IDEA 链接Mysql数据库并执行查询操作的完整代码
MySQL 覆盖索引的优点
May 19 #MySQL
MySQL 视图(View)原理解析
超详细教你怎么升级Mysql的版本
详解mysql三值逻辑与NULL
MySQL时间盲注的五种延时方法实现
You might like
为php4加入动态flash文件的生成的支持
2006/10/09 PHP
windows下升级PHP到5.3.3的过程及注意事项
2010/10/12 PHP
详解HTTP Cookie状态管理机制
2016/01/14 PHP
php删除一个路径下的所有文件夹和文件的方法
2018/02/07 PHP
PHP SPL 被遗落的宝石【SPL应用浅析】
2018/04/20 PHP
ThinkPHP3.2框架自带分页功能实现方法示例
2019/05/13 PHP
js Array对象的扩展函数代码
2013/04/24 Javascript
javascript中的this详解
2014/12/08 Javascript
简单谈谈javascript中的变量、作用域和内存问题
2015/08/30 Javascript
WebGL利用FBO完成立方体贴图效果完整实例(附demo源码下载)
2016/01/26 Javascript
基于BootStrap Metronic开发框架经验小结【一】框架总览及菜单模块的处理
2016/05/12 Javascript
jQuery UI结合Ajax创建可定制的Web界面
2016/06/22 Javascript
jquery mobile实现可折叠的导航按钮
2017/03/11 Javascript
Form表单上传文件(type="file")的使用
2017/08/03 Javascript
jQuery-ui插件sortable实现自由拖动排序
2018/12/01 jQuery
JavaScript ES6常用基础知识总结
2019/02/09 Javascript
微信小程序的开发范式BeautyWe.js入门详解
2019/07/10 Javascript
js实现拖动缓动效果
2020/01/13 Javascript
详解elementUI中input框无法输入的问题
2020/04/27 Javascript
vue中路由跳转不计入history的操作
2020/09/21 Javascript
编写简单的Python程序来判断文本的语种
2015/04/07 Python
Python中标准模块importlib详解
2017/04/16 Python
Python简单网络编程示例【客户端与服务端】
2017/05/26 Python
python版学生管理系统
2018/01/10 Python
对Python中type打开文件的方式介绍
2018/04/28 Python
Python中的异常处理try/except/finally/raise用法分析
2019/02/28 Python
Window10下python3.7 安装与卸载教程图解
2019/09/30 Python
使用python切片实现二维数组复制示例
2019/11/26 Python
python为什么会环境变量设置不成功
2020/06/23 Python
Ann Taylor官方网站:美国最大的女性产品制造商之一
2016/09/14 全球购物
普师专业个人自荐信范文
2013/11/26 职场文书
2014机关干部学习“焦裕禄精神”思想汇报
2014/09/19 职场文书
2015年业务员工作总结范文
2015/04/07 职场文书
个人向公司借款协议书
2016/03/19 职场文书
浅谈Java实现分布式事务的三种方案
2021/06/11 Java/Android
Matplotlib绘制条形图的方法你知道吗
2022/03/21 Python