MySQL如何使备份得数据保持一致


Posted in MySQL onMay 02, 2022

前言

为了数据安全,数据库需要定期备份,这个大家都懂,然而数据库备份的时候,最怕写操作,因为这个最容易导致数据的不一致,松哥举一个简单的例子大家来看下:

假设在数据库备份期间,有用户下单了,那么可能会出现如下问题:

  • 库存表扣库存。
  • 备份库存表。
  • 备份订单表数据。
  • 订单表添加订单。
  • 用户表扣除账户余额。
  • 备份用户表。

如果按照上面这样的逻辑执行,备份文件中的订单表就少了一条记录。将来如果使用这个备份文件恢复数据的话,就少了一条记录,造成数据不一致。

为了解决这个问题,MySQL 中提供了很多方案,我们来逐一进行讲解并分析其优劣。

1. 全库只读

要解决这个问题,我们最容易想到的办法就是在数据库备份期间设置数据库只读,不能写,这样就不用担心数据不一致了,设置全库只读的办法也很简单,首先我们执行如下 SQL 先看看对应变量的值:

show variables like 'read_only';

MySQL如何使备份得数据保持一致

可以看到,默认情况下,read_only 是 OFF,即关闭状态,我们先把它改为 ON,执行如下 SQL:

set global read_only=1;

1 表示 ON,0 表示 OFF,执行结果如下:

MySQL如何使备份得数据保持一致

这个 read_only 对 super 用户无效,所以设置完成后,接下来我们退出来这个会话,然后创建一个不包含 super 权限的用户,用新用户登录,登录成功之后,执行一个插入 SQL,结果如下:

MySQL如何使备份得数据保持一致

可以看到,这个错误信息中说,现在的 MySQL 是只读的(只能查询),不能执行当前 SQL。

加了只读属性,就不用担心备份的时候发生数据不一致的问题了。

但是 read_only 我们通常用来标识一个 MySQL 实例是主库还是从库:

  • read_only=0,表示该实例为主库。数据库管理员 DBA 可能每隔一段时间就会对该实例写入一些业务无关的数据来判断主库是否可写,是否可用,这就是常见的探测主库实例是否活着的。
  • read_only=1,表示该实例为从库。每隔一段时间探活,往往只会对从库进行读操作,比如select 1;这样进行探活从库。

所以,read_only 这个属性其实并不适合用来做备份,而且如果使用了 read_only 属性将整个库设置为 readonly 之后,如果客户端发生异常,则数据库就会一直保持 readonly 状态,这样会导致整个库长时间处于不可写状态,风险很高。

因此这种方案不合格。

2. 全局锁

全局锁,顾名思义,就是把整个库锁起来,锁起来的库就不能增删改了,只能读了。

那么我们看看怎么使用全局锁。MySQL 提供了一个加全局读锁的方法,命令是 flush tables with read lock (FTWRL)。当你需要让整个库处于只读状态的时候,可以使用这个命令,之后其他线程的增删改等操作就会被阻塞。

MySQL如何使备份得数据保持一致

从图中可以看到,使用 flush tables with read lock; 指令可以锁定表;使用 unlock tables; 指令则可以完成解锁操作(会话断开时也会自动解锁)。

和第一小节的方案相比,FTWRL 有一点进步,即:执行 FTWRL 命令之后如果客户端发生异常断开,那么 MySQL 会自动释放这个全局锁,整个库回到可以正常更新的状态,而不会一直处于只读状态。

但是!!!

加了全局锁,就意味着整个数据库在备份期间都是只读状态,那么在数据库备份期间,业务就只能停摆了。

所以这种方式也不是最佳方案。

3. 事务

不知道小伙伴们是否还记得松哥之前和大家分享的数据库的隔离级别,四种隔离级别中有一个是可重复读(REPEATABLE READ),这也是 MySQL 默认的隔离级别。

在这个隔离级别下,如果用户在另外一个事务中执行同条 SELECT 语句数次,结果总是相同的。(因为正在执行的事务所产生的数据变化不能被外部看到)。

换言之,在 InnoDB 这种支持事务的存储引擎中,那么我们就可以在备份数据库之前先开启事务,此时会先创建一致性视图,然后整个事务执行期间都在用这个一致性视图,而且由于 MVCC 的支持,备份期间业务依然可以对数据进行更新操作,并且这些更新操作不会被当前事务看到。

在可重复读的隔离级别下,即使其他事务更新了表数据,也不会影响备份数据库的事务读取结果,这就是事务四大特性中的隔离性,这样备份期间备份的数据一直是在开启事务时的数据。

具体操作也很简单,使用 mysqldump 备份数据库的时候,加上 -–single-transaction 参数即可。

为了看到 -–single-transaction 参数的作用,我们可以先开启 general_loggeneral_log 即 General Query Log,它记录了 MySQL 服务器的操作。当客户端连接、断开连接、接收到客户端的 SQL 语句时,会向 general_log 中写入日志,开启 general_log 会损失一定的性能,但是在开发、测试环境下开启日志,可以帮忙我们加快排查出现的问题。

通过如下查询我们可以看到,默认情况下 general_log 并没有开启:

MySQL如何使备份得数据保持一致

我们可以通过修改配置文件 my.cnf(Linux)/my.ini(Windows),在 mysqld 下面增加或修改(如已存在配置项)general_log 的值为1,修改后重启 MySQL 服务即可生效。

也可以通过在 MySQL 终端执行 set global general_log = ON 来开启 general log,此方法可以不用重启 MySQL

MySQL如何使备份得数据保持一致

开启之后,默认日志的目录是 mysql 的 data 目录,文件名默认为 主机名.log

接下来,我们先来执行一个不带 -–single-transaction 参数的备份,如下:

mysqldump -h localhost -uroot -p123 test08 > test08.sql

MySQL如何使备份得数据保持一致

大家注意默认的 general_log 的位置。

接下来我们再来加上 -–single-transaction 参数看看:

mysqldump -h localhost -uroot -p123 --single-transaction test08 > test08.sql

MySQL如何使备份得数据保持一致

大家看我蓝色选中的部分,可以看到,确实先开启了事务,然后才开始备份的,对比不加 -–single-transaction 参数的日志,多了开启事务这一部分。

4. 小结

总结一下,加事务备份似乎是一个不错的选择,不过这个方案也有一个局限性,那就是只适用于支持事务的引擎如 InnoDB,对于 MyISAM 这样的存储引擎,如果要备份,还是乖乖的使用全局锁吧。

到此这篇关于MySQL如何使备份得数据保持一致的文章就介绍到这了!


Tags in this post...

MySQL 相关文章推荐
详解MySQL中的主键与事务
May 27 MySQL
解决Navicat for Mysql连接报错1251的问题(连接失败)
May 27 MySQL
MySQL 8.0 驱动与阿里druid版本兼容问题解决
Jul 01 MySQL
为什么MySQL 删除表数据 磁盘空间还一直被占用
Oct 16 MySQL
mysql中varchar类型的日期进行比较、排序等操作的实现
Nov 17 MySQL
一文了解MySQL二级索引的查询过程
Feb 24 MySQL
一条慢SQL语句引发的改造之路
Mar 16 MySQL
优化Mysql查询的示例
Apr 26 MySQL
MYSQL常用函数介绍
May 05 MySQL
Mysql数据库事务的脏读幻读及不可重复读详解
May 30 MySQL
MySQL的意向共享锁、意向排它锁和死锁
Jul 15 MySQL
mysql sock文件存储了什么信息
Jul 15 MySQL
MySQL索引 高效获取数据的数据结构
使用Mysql计算地址的经纬度距离和实时位置信息
Apr 29 #MySQL
解决Mysql中的innoDB幻读问题
Apr 29 #MySQL
详解Mysq MVCC多版本的并发控制
详解Mysql事务并发(脏读、不可重复读、幻读)
MySQL 条件查询的常用操作
Apr 28 #MySQL
mysql 子查询的使用
Apr 28 #MySQL
You might like
《PHP边学边教》(01.开篇――准备工作)
2006/12/13 PHP
php将图片文件转换成二进制输出的方法
2015/06/10 PHP
PHP调用全国天气预报数据接口查询天气示例
2019/02/20 PHP
Prototype使用指南之hash.js
2007/01/10 Javascript
用JavaScript玩转游戏物理(一)运动学模拟与粒子系统
2010/06/19 Javascript
IE中createElement需要注意的一个问题
2010/07/13 Javascript
浅析XMLHttpRequest的缓存问题
2013/12/13 Javascript
JQuery显示隐藏DIV的方法及代码实例
2015/04/16 Javascript
详解JavaScript基于面向对象之继承实例
2015/12/16 Javascript
浅谈JavaScript的全局变量与局部变量
2016/06/10 Javascript
Bootstrap3使用typeahead插件实现自动补全功能
2016/07/07 Javascript
js简单时间比较的方法
2016/08/02 Javascript
移动端滑动插件Swipe教程
2016/10/16 Javascript
基于jQuery实现的查看全文功能【实用】
2016/12/11 Javascript
15个非常实用的JavaScript代码片段
2016/12/18 Javascript
js如何判断是否在iframe中及防止网页被别站用iframe嵌套
2017/01/11 Javascript
微信小程序 密码输入(源码下载)
2017/06/27 Javascript
JavaScript正则表达式校验与递归函数实际应用实例解析
2017/08/04 Javascript
微信小程序出现wx.getLocation再次授权问题的解决方法分析
2019/01/16 Javascript
Vue项目中配置pug解析支持
2019/05/10 Javascript
解决vue请求接口第一次成功,第二次失败问题
2020/09/08 Javascript
python正则匹配抓取豆瓣电影链接和评论代码分享
2013/12/27 Python
python使用htmllib分析网页内容的方法
2015/05/08 Python
基于Python中capitalize()与title()的区别详解
2017/12/09 Python
在Python dataframe中出生日期转化为年龄的实现方法
2018/10/20 Python
Pycharm+django2.2+python3.6+MySQL实现简单的考试报名系统
2019/09/05 Python
python3光学字符识别模块tesserocr与pytesseract的使用详解
2020/02/26 Python
python异常处理、自定义异常、断言原理与用法分析
2020/03/23 Python
HTML5离线缓存Manifest是什么
2016/03/09 HTML / CSS
火灾现场处置方案
2014/05/28 职场文书
个人求职自荐信范文
2015/03/06 职场文书
学习党史心得体会2016
2016/01/23 职场文书
复制别人的成功真的会成功吗?
2019/10/17 职场文书
压缩Redis里的字符串大对象操作
2021/06/23 Redis
Java实现二分搜索树的示例代码
2022/03/17 Java/Android
vue实现省市区联动 element-china-area-data插件
2022/04/22 Vue.js