首页
所有分类
TAGS
文字工具 EMOJI BIBLE
数据库 MySQL

MySQL官方导出工具mysqlpump的使用

Posted in MySQL onMay 21, 2021

简介

mysqlpump 是 mysqldump 的一个衍生，本身也参考了 mydumper 的思路，支持了并行导出数据，因此导出数据的效率比 mysqldump 会高很多。

使用介绍

mysqlpump 的绝大多数参数与 mysqldump 是一样的，整体的使用方法和 mysqldump 没有太多的差异。这里列出一部分 mysqlpump 中比较重要且常用的参数。

 

参数

说明

--default-parallelism=#

设置并行导出的并发度，与 single-transaction 冲突

--single-transaction

创建一个单独的事务来导出所有的表

--exclude-databases=name

导出时排除掉某些库，多个库以逗号分隔

--exclude-tables=name

导出时排除掉某些表，多个表以逗号分隔

--include-databases=name

导出时包含某些库，多个库以逗号分隔

--include-tables=name

导出时包含某些表，多个表以逗号分隔

实际体验

这里对 mysqlpump 做一次简单的试用，目标实例选择 MySQL 5.7，参数中同时采用了single-transaction和default-parallelism，试试看这个冲突的效果。

mysqlpump 侧的输出参考如下信息：

root@VM-64-10-debian:~# mysqlpump -h172.100.10.10 -uroot -p --single-transaction --default-parallelism=16 --set-gtid-purged=OFF -B sbtest > sbtest.sql
Dump progress: 0/1 tables, 250/987400 rows
Dump progress: 0/5 tables, 117250/3946600 rows
Dump progress: 1/5 tables, 258750/3946600 rows
Dump progress: 1/5 tables, 385500/3946600 rows
Dump progress: 1/5 tables, 516750/3946600 rows
Dump progress: 1/5 tables, 639250/3946600 rows
Dump progress: 1/5 tables, 757000/3946600 rows
Dump progress: 1/5 tables, 885000/3946600 rows
Dump progress: 1/5 tables, 1005750/3946600 rows
Dump progress: 1/5 tables, 1114250/3946600 rows
Dump progress: 1/5 tables, 1223250/3946600 rows
Dump progress: 2/5 tables, 1312500/3946600 rows
Dump progress: 2/5 tables, 1430750/3946600 rows
Dump progress: 2/5 tables, 1553000/3946600 rows
Dump progress: 2/5 tables, 1680250/3946600 rows
Dump progress: 2/5 tables, 1809500/3946600 rows
Dump progress: 2/5 tables, 1940750/3946600 rows
Dump progress: 2/5 tables, 2060000/3946600 rows
Dump progress: 2/5 tables, 2175250/3946600 rows
Dump progress: 2/5 tables, 2295250/3946600 rows
Dump progress: 3/5 tables, 2413500/3946600 rows
Dump progress: 3/5 tables, 2554500/3946600 rows
Dump progress: 3/5 tables, 2693500/3946600 rows
Dump progress: 3/5 tables, 2818750/3946600 rows
Dump progress: 3/5 tables, 2941500/3946600 rows
Dump progress: 4/5 tables, 3056000/3946600 rows
Dump progress: 4/5 tables, 3172750/3946600 rows
Dump progress: 4/5 tables, 3280000/3946600 rows
Dump progress: 4/5 tables, 3372000/3946600 rows
Dump progress: 4/5 tables, 3444750/3946600 rows
Dump completed in 126555 milliseconds

可以看到当这两个参数同时启用的时候，mysqlpump 实际上还是在一个一个表的导出。single-transaction的优先级会高于default-parallelism。

去掉single-transaction再进行测试的时候，会发现一个比较有意思的现象，观察 MySQL 的 processlist，会有如下结果：

mysql> show processlist;
+---------+------+--------------------+------+---------+------+-------------------+----------------------------------------------------+
| Id      | User | Host               | db   | Command | Time | State             | Info                                               |
+---------+------+--------------------+------+---------+------+-------------------+----------------------------------------------------+
| 2763496 | root | 172.100.10.10:49086 | NULL | Query   |    0 | starting          | show processlist                                   |
| 2763585 | root | 172.100.10.10:49192 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763586 | root | 172.100.10.10:49194 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763587 | root |172.100.10.10:49196 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763588 | root | 172.100.10.10:49198 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763589 | root | 172.100.10.10:49200 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763590 | root | 172.100.10.10:49202 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763591 | root | 172.100.10.10:49204 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763592 | root | 172.100.10.10:49206 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763593 | root | 172.100.10.10:49208 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763594 | root | 172.100.10.10:49210 | NULL | Sleep   |  126 |                   | NULL                                               |
| 2763595 | root | 172.100.10.10:49212 | NULL | Query   |  125 | Sending to client | SELECT `id`,`k`,`c`,`pad`  FROM `sbtest`.`sbtest5` |
| 2763596 | root | 172.100.10.10:49214 | NULL | Query   |  125 | Sending to client | SELECT `id`,`k`,`c`,`pad`  FROM `sbtest`.`sbtest4` |
| 2763597 | root | 172.100.10.10:49216 | NULL | Query   |  125 | Sending to client | SELECT `id`,`k`,`c`,`pad`  FROM `sbtest`.`sbtest3` |
| 2763598 | root | 172.100.10.10:49218 | NULL | Query   |  125 | Sending to client | SELECT `id`,`k`,`c`,`pad`  FROM `sbtest`.`sbtest2` |
| 2763599 | root | 172.100.10.10:49220 | NULL | Query   |  125 | Sending to client | SELECT `id`,`k`,`c`,`pad`  FROM `sbtest`.`sbtest1` |
| 2763600 | root | 172.100.10.10:49222 | NULL | Sleep   |  125 |                   | NULL                                               |
| 2763601 | root | 172.100.10.10:49224 | NULL | Sleep   |  125 |                   | NULL                                               |
+---------+------+--------------------+------+---------+------+-------------------+----------------------------------------------------+
18 rows in set (0.00 sec)

mysql>

可以很明显的看出来，mysqlpump 的“并行导出”实际上只是基于表级别的并行导出，当存在单个大表的时候，导出的时间会被严重的影响，存在短板效应。

额外的疑问：如果default-parallelism和single-transaction有冲突的话，那么并行导出的时候是不是无法确认数据一致性？

实践出真实，打开 general_log 看一下导出时的操作：

2021-05-12T11:54:09.033215Z        75 Connect   root@172.100.10.10 on  using SSL/TLS
2021-05-12T11:54:09.075347Z        75 Query     FLUSH TABLES WITH READ LOCK //开始锁表
2021-05-12T11:54:09.103132Z        75 Query     SHOW WARNINGS
2021-05-12T11:54:09.106382Z        75 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2021-05-12T11:54:09.106553Z        75 Query     SHOW WARNINGS
2021-05-12T11:54:09.106640Z        75 Query     START TRANSACTION WITH CONSISTENT SNAPSHOT
2021-05-12T11:54:09.108115Z        75 Query     SHOW WARNINGS
2021-05-12T11:54:09.127277Z        76 Connect   root@172.100.10.10 on  using SSL/TLS
2021-05-12T11:54:09.127452Z        76 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2021-05-12T11:54:09.127590Z        76 Query     SHOW WARNINGS
2021-05-12T11:54:09.127680Z        76 Query     START TRANSACTION WITH CONSISTENT SNAPSHOT
2021-05-12T11:54:09.127790Z        76 Query     SHOW WARNINGS
......
2021-05-12T11:54:10.018813Z        90 Connect   root@172.100.10.10 on  using SSL/TLS
2021-05-12T11:54:10.018944Z        90 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2021-05-12T11:54:10.019047Z        90 Query     SHOW WARNINGS
2021-05-12T11:54:10.019150Z        90 Query     START TRANSACTION WITH CONSISTENT SNAPSHOT
2021-05-12T11:54:10.019226Z        90 Query     SHOW WARNINGS
2021-05-12T11:54:10.025833Z        91 Connect   root@172.100.10.10 on  using SSL/TLS
2021-05-12T11:54:10.025934Z        91 Query     SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2021-05-12T11:54:10.026048Z        91 Query     SHOW WARNINGS
2021-05-12T11:54:10.026141Z        91 Query     START TRANSACTION WITH CONSISTENT SNAPSHOT
2021-05-12T11:54:10.026219Z        91 Query     SHOW WARNINGS
2021-05-12T11:54:10.026293Z        75 Query     UNLOCK TABLES  //结束锁表
2021-05-12T11:54:10.026406Z        75 Query     SHOW WARNINGS

可以看到并行导出之前，有一个线程加上了全局读锁，然后等所有的并发线程打开事务之后才解锁了表，因此并行导出的时候也是数据一致的。

优缺点

  • 优点：
    • 并行备份数据库和数据库中的对象，比 mysqldump 更高效。
    • 更好的控制数据库和数据库对象（表，存储过程，用户帐户）的备份。
    • 备份进度可视化。
  • 缺点：  
    • 只能并行到表级别，如果有一个表数据量特别大那么会存在非常严重的短板效应。
    • 导出的数据保存在一个文件中，导入仍旧是单线程，效率较低。
    • 无法获取当前备份对应的binlog位置。

总结一下

尽管 mysqlpump 还有非常多的不足，但是相比较于原始的 mysqldump 已经有了非常大的进步，从这个工具的发布也可以看出来 Oracle 终于开始重视 MySQL 的生态工具了，期待官方提供更多的更优秀的生态工具。

以上就是MySQL官方导出工具mysqlpump的使用的详细内容，更多关于mysqlpump的使用的资料请关注三水点靠木其它相关文章！

MySQL官方导出工具mysqlpump的使用

- Author -

王文安@DBA

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

MySQL 相关文章推荐
MySQL中distinct与group by之间的性能进行比较
May 26 MySQL
MySQL连接查询你真的学会了吗？
Jun 02 MySQL
MySQL 发生同步延迟时Seconds_Behind_Master还为0的原因
Jun 21 MySQL
MySQL千万级数据表的优化实战记录
Aug 04 MySQL
MySQL外键约束(FOREIGN KEY)案例讲解
Aug 23 MySQL
MySQL的InnoDB存储引擎的数据页结构详解
Mar 03 MySQL
MySQL 分区表中分区键为什么必须是主键的一部分
Mar 17 MySQL
MySQL限制查询和数据排序介绍
Mar 25 MySQL
分享几个简单MySQL优化小妙招
Mar 31 MySQL
MySQL数据库中的锁、解锁以及删除事务
May 06 MySQL
MySQL数据库实验实现简单数据库应用系统设计
Jun 21 MySQL
面试官问我Mysql的存储引擎了解多少
Aug 05 MySQL
新手必备之MySQL msi版本下载安装图文详细教程
MySQL数据库压缩版本安装与配置详细教程
MySQL 8.0 之不可见列的基本操作
May 20 #MySQL
Mysql Online DDL的使用详解
May 20 #MySQL
MySQL 存储过程的优缺点分析
May 20 #MySQL
IDEA 链接Mysql数据库并执行查询操作的完整代码
MySQL 覆盖索引的优点
May 19 #MySQL
Android面试题(6) LINUX面试题(83) .NET面试题(131) DB面试题(126) C#面试题(90) PHP面试题(54) C++面试题(199) JAVA面试题(401) 冰岛购物网站(1) 网络工程师面试题(96)
You might like
PHP获取网卡地址的代码
2008/04/09 PHP
写出高质量的PHP程序
2012/02/04 PHP
解析php常用image图像函数集
2013/06/24 PHP
thinkphp控制器调度使用示例
2014/02/24 PHP
Laravel5.7 Eloquent ORM快速入门详解
2019/04/12 PHP
Laravel的Auth验证Token验证使用自定义Redis的例子
2019/09/30 PHP
javascript 多种搜索引擎集成的页面实现代码
2010/01/02 Javascript
25个优雅的jQuery Tooltip插件推荐
2011/05/25 Javascript
js Math 对象的方法
2013/09/01 Javascript
jQuery中的pushStack实现原理和应用实例
2015/02/03 Javascript
JS实现弹性菜单效果代码
2015/09/07 Javascript
JS求解三元一次方程组值的方法
2017/01/03 Javascript
整理关于Bootstrap列表组的慕课笔记
2017/03/29 Javascript
react 创建单例组件的方法
2018/04/26 Javascript
vue.js仿hover效果的实现方法示例
2019/01/28 Javascript
一文快速了解JQuery中的AJAX
2019/05/31 jQuery
js实现简易拖拽的示例
2020/10/26 Javascript
js中延迟加载和预加载的具体使用
2021/01/14 Javascript
[01:20]DOTA2 齐天大圣至宝动态展示
2016/12/13 DOTA
[07:09]DOTA2-DPC中国联赛 正赛 Ehome vs Elephant 选手采访
2021/03/11 DOTA
Python中线程编程之threading模块的使用详解
2015/06/23 Python
Python爬虫框架scrapy实现downloader_middleware设置proxy代理功能示例
2018/08/04 Python
python使用Plotly绘图工具绘制水平条形图
2020/03/25 Python
如何使用Python实现斐波那契数列
2019/07/02 Python
简单了解Python读取大文件代码实例
2019/12/18 Python
使用 Python 处理3万多条数据只要几秒钟
2020/01/19 Python
Python搭建Keras CNN模型破解网站验证码的实现
2020/04/07 Python
python爬虫搭配起Bilibili唧唧的流程分析
2020/12/01 Python
CSS3绘制六边形的简单实现
2016/08/25 HTML / CSS
世界上最大的罕见唱片、CD和音乐纪念品网上商店：991.com
2018/05/03 全球购物
后勤岗位职责
2013/11/26 职场文书
六一节目主持词
2014/04/01 职场文书
教师党员批评与自我批评
2014/10/15 职场文书
入党积极分子群众意见
2015/06/01 职场文书
Python中json.dumps()函数的使用解析
2021/05/17 Python
未发现nvidia显卡怎么办？Win11系统中未检测到nvidia显卡解决教程
2022/04/08 数码科技