Mysql Online DDL的使用详解


Posted in MySQL onMay 20, 2021

正文

Online DDL在MySQL 5.6才开始支持的,在5.5及之前版本,使用alter table/create index等命令进行表结构修改操作均会锁表,这在生产环境上明显是不可接受的。

在MySQL 5.7,Online DDL在性能和稳定性上不断得到优化,性能有显著优势,且对业务负载影响小,停写时间可控,相对pt-osc/gh-ost来说,无需安装第三方依赖包,同时支持Inplace算法的Online DDL,由于无需拷表,所需磁盘空间也更小。

先来看一个常见的DDL语句:

ALTER TABLE tbl_name ADD PRIMARY KEY (column), ALGORITHM=INPLACE, LOCK=NONE;

其中,LOCK描述了DDL期间运行的并发程度,ALGORITHM描述了DDL的实现方式

LOCK参数

  1. LOCK=NONE:允许并发的查询和DML操作
  2. LOCK=SHARED:允许并发的查询,但阻塞DML操作
  3. LOCK=DEFAULT: 由系统决定,允许尽可能多的并发性(并发查询、DML或两者)。如果省略LOCK子句相当于指定LOCK=DEFAULT
  4. LOCK=EXCLUSIVE:阻塞并发查询和DML操作。

ALGORITHM参数

  1. ALGORITHM=COPY:采用拷表方式进行表变更,与pt-osc/gh-ost类似;
  2. ALGORITHM=INPLACE:仅需要进行引擎层数据改动,不涉及Server层;

COPY TABLE流程

  1. 首先建立临时表,表结构为ALTAR TABLE更改后的结构
  2. 将原表中数据导入到临时表(server层创建临时表,会有显示的IBD文件)
  3. 删除原表
  4. 将临时表rename为原来的表名

同时这一过程中,为了保持数据的一致性,中间复制数据时(Copy Table)全程锁表只读,如果有写请求进来将无法提供服务,将导致连接数爆张。

IN-PLACE流程

  1. 建立一个临时文件,扫描原表主键的所有数据页
  2. 用数据页中原表记录生成B+树,存储到临时文件中(innodb_temp_data_file_path临时表空间下创建临时文件)
  3. 生成临时文件的过程中,将所有对原表的操作记在一个日志文件(rowlog)中
  4. 临时文件生成后,将日志文件中的操作应用到临时文件,得到一个辑数据上与原表相同
  5. 数据文件(日志文件记录和重放操作)
  6. 用临时文件替换原表数据文件

这一过程中,alter 语句在启动的时候获取MDL写锁,但是这个写锁在真正拷贝数据之前就退化成读锁,也就是说在最耗时的copy数据到临时文件的过程中,原表是可以进行dml操作的,仅仅会在最后的新旧表切换阶段加锁,这个rename的时间就非常快了。

允许并发DML的DDL操作

  • 创建/新增二级索引
  • 重命名二级索引
  • 删除二级索引
  • 改变索引类型(USING {BTREE | HASH})
  • 添加主键(expensive cost)
  • 删除主键并增加另一个(expensive cost)(ALTER TABLE tbl_name DROP PRIMARY KEY, ADD PRIMARY KEY (column), ALGORITHM=INPLACE, LOCK=NONE;)
  • 新增列 (expensive cost)
  • 删除列 (expensive cost)
  • 重命名列
  • 列重新排序 (expensive cost)
  • 改变列默认值
  • 删除列默认值
  • 改变列自增值
  • 设置列属性null/not null (expensive cost)
  • 修改枚举或集合列的定义
  • Change ROW_FORMAT
  • Change key block size

标记为expensive cost的操作虽然允许OnlineDDL,但本身对服务器IO,CPU都会造成较高负担,同时会导致复制阻塞,造成另一种形式的从库复制延迟,所以如果是大表,建议业务低峰期执行

不允许并发DML的DDL操作

  • 添加全文索引
  • 添加空间索引
  • 删除主键
  • 改变列数据类型
  • 添加自增列(新增列->变为自增列)
  • 变更表字符集
  • 修改数据类型长度
    • 特例:varchar字符长度从10变更到小于255 采用inplace方式不会锁表;从255变更到10会锁表;

以上就是Mysql Online DDL的使用详解的详细内容,更多关于Mysql Online DDL的使用的资料请关注三水点靠木其它相关文章!

MySQL 相关文章推荐
MySQL表的增删改查基础教程
Apr 07 MySQL
如何使用Maxwell实时同步mysql数据
Apr 08 MySQL
教你用eclipse连接mysql数据库
Apr 22 MySQL
MySQL sql_mode的使用详解
May 08 MySQL
如何用Navicat操作MySQL
May 12 MySQL
MYSQL主从数据库同步备份配置的方法
May 26 MySQL
MySQL连表查询分组去重的实现示例
Jul 01 MySQL
mysql连接查询中and与where的区别浅析
Jul 01 MySQL
mysql事务隔离级别详情
Oct 24 MySQL
Mysql忘记密码解决方法
Feb 12 MySQL
MySQL数据库完全卸载的方法
Mar 03 MySQL
一文搞清楚MySQL count(*)、count(1)、count(col)区别
Mar 03 MySQL
MySQL 存储过程的优缺点分析
May 20 #MySQL
IDEA 链接Mysql数据库并执行查询操作的完整代码
MySQL 覆盖索引的优点
May 19 #MySQL
MySQL 视图(View)原理解析
超详细教你怎么升级Mysql的版本
详解mysql三值逻辑与NULL
MySQL时间盲注的五种延时方法实现
You might like
PHP图像处理之使用imagecolorallocate()函数设置颜色例子
2014/11/19 PHP
thinkphp模板继承实例简述
2014/11/26 PHP
浅谈PDO的rowCount函数
2015/06/18 PHP
laravel5创建service provider和facade的方法详解
2016/07/26 PHP
PDO::quote讲解
2019/01/29 PHP
javascript中的new使用
2010/03/20 Javascript
offsetParent 算法分析
2010/04/05 Javascript
jquery验证表单中的单选与多选实例
2013/08/18 Javascript
avascript中的自执行匿名函数应用示例
2014/09/15 Javascript
JS表格组件神器bootstrap table详解(强化版)
2016/05/26 Javascript
js css+html实现简单的日历
2016/07/14 Javascript
JavaScript中的ajax功能的概念和示例详解
2016/10/17 Javascript
jQuery Easyui Treegrid实现显示checkbox功能
2017/08/08 jQuery
Angular 利用路由跳转到指定页面的指定位置方法
2018/08/31 Javascript
使用vue根据状态添加列表数据和删除列表数据的实例
2018/09/29 Javascript
微信小程序实现弹出层效果
2020/05/26 Javascript
jQuery选择器选中最后一个元素,倒数第二个元素操作示例
2018/12/10 jQuery
vue使用swiper.js重叠轮播组建样式
2019/11/14 Javascript
基于vue实现图片验证码倒计时60s功能
2019/12/10 Javascript
JS实现简单日历特效
2020/01/03 Javascript
nodejs制作小爬虫功能示例
2020/02/24 NodeJs
微信小程序实现组件顶端固定或底端固定效果(不随滚动而滚动)
2020/04/09 Javascript
Vue实现腾讯云点播视频上传功能的实现代码
2020/08/17 Javascript
[52:03]DOTA2-DPC中国联赛 正赛 Ehome vs iG BO3 第三场 1月31日
2021/03/11 DOTA
paramiko模块安装和使用(远程登录服务器)
2014/01/27 Python
Python列表计数及插入实例
2014/12/17 Python
python实现文件路径和url相互转换的方法
2015/07/06 Python
详解python 字符串和日期之间转换 StringAndDate
2017/05/04 Python
python三大神器之fabric使用教程
2019/06/10 Python
python getpass模块用法及实例详解
2019/10/07 Python
python闭包与引用以及需要注意的陷阱
2020/09/18 Python
美国CVS药店官网:CVS Pharmacy
2018/07/26 全球购物
澳大利亚珍珠首饰购物网站:Vayo Pearls
2019/03/11 全球购物
中文系学生自荐信范文
2013/11/13 职场文书
小学二年级班主任工作经验交流材料
2015/11/02 职场文书
《我的长生果》教学反思
2016/02/20 职场文书