mysql中数据库覆盖导入的几种方式总结


Posted in MySQL onMarch 25, 2022

众所周知,数据库中INSERT INTO语法是append方式的插入,而最近在处理一些客户数据导入场景时,经常遇到需要覆盖式导入的情况

常见的覆盖式导入主要有下面两种:

1、部分覆盖:新老数据根据关键列值匹配,能匹配上则使用新数据覆盖,匹配不上则直接插入。

2、完全覆盖:直接删除所有老数据,插入新数据。

mysql中数据库覆盖导入的几种方式总结

本文主要介绍如何在数据库中完成覆盖式数据导入的方法。

部分覆盖

业务场景

某业务每天给业务表中导入大数据进行分析,业务表中某列存在主键,当插入数据和已有数据存在主键冲突时,希望能够对该行数据使用新数据覆盖或者说更新,而当新老数据userid不冲突的情况下,直接将新数据插入到数据库中。以将表src中的数据覆盖式导入业务表des中为例:

应用方案

方案一:使用DELETE+INSERT组合实现(UPDATE也可以,请读者思考)

--开启事务
START TRANSACTION;
--去除主键冲突数据
DELETE FROM des
USING src
WHERE EXISTS (SELECT 1 FROM des WHERE des.userid = src.userid);
--导入新数据
INSERT INTO des
SELECT *
FROM src
WHERE NOT EXISTS (SELECT 1 FROM des WHERE des.userid = src.userid);
--事务提交
COMMIT;

方案优点:使用最常见的使用DELETE和INSERT即可实现。

方案缺点:1、分了DELETE和INSERT两个步骤,易用性欠缺;2、借助子查询识重,DELETE/INSERT性能受查询性能制约。

方案二:使用MERGE INTO功能实现

MERGE INTO des USING src ON (des.userid = src.userid)
WHEN MATCHED THEN UPDATE SET des.b = src.b
WHEN NOT MATCHED THEN INSERT VALUES (src.userid,src.b);

方案优点:MERGE INTO单SQL搞定,使用便捷,内部去重效率高。

方案缺点:需要数据库产品支持MERGE INTO功能,当前Oracle、GaussDB(DWS)等数据库已支持此功能,mysql的insert into on duplicate key也类似此功能。

完全覆盖

业务场景

某业务每天给业务表中导入一定时间区间的数据进行分析,分析只需要导入时间区间的去除,不需要以往历史数据,这种情况就需要使用到覆盖式导入。

应用方案

方案一:使用TRUNCATE+INSERT组合实现

--开启事务
START TRANSACTION;
--清除业务表数据
TRUNCATE des;
--插入1月份数据
INSERT INTO des SELECT * FROM src WHERE time > '2020-01-01 00:00:00' AND time < '2020-02-01 00:00:00';
--提交事务
COMMIT;

方案优点:简单暴力,先清理在插入直接实现类似覆盖写功能。

方案缺点:TRUNCATE清理业务表des数据时对表加8级锁直到事务结束,在因数据量巨大而INSERT时间很长的情况下,des表在很长时间内是不可访问的状态,业务表des相关的业务处于中断状态。

方案二:使用创建临时表过渡的方式实现

--开启事务
START TRANSACTION;
--创建临时表
CREATE TABLE temp(LIKE desc INCLUDING ALL);
--数据先导入到临时表中
INSERT INTO temp SELECT * FROM src WHERE TIME > '2020-01-01 00:00:00' AND TIME < '2020-02-01 00:00:00';
--导入完成后删除业务表des
DROP TABLE des;
--修改临时表名temp->des
ALTER TABLE temp RENAME TO des;
--提交事务
COMMIT;

方案优点:相比方案一,在INSERT期间,业务表des可以继续被访问(老数据),即事务提交前分析业务可继续访问老数据,事务提交后分析业务可以访问新导入的数据。

方案缺点:1、组合步骤较多,不易用;2、DROP TABLE操作会删除表的依赖对象,例如视图等,后面依赖对象的还原可能会比较复杂。

方案三:使用INSERT OVERWRITE功能

INSERT OVERWRITE INTO des SELECT * FROM src WHERE time > '2020-01-01 00:00:00' AND time < '2020-02-01 00:00:00';

方案优点:单条SQL搞定,执行便捷,能够支持一键式切换业务查询的新老数据,业务不中断。

方案缺点:需要产品支持INSERT OVERWRITE功能,当前impala、GaussDB(DWS)等数据库均已支持此功能。

总结

随着大数据的场景越来越多,数据导入的场景也越来越丰富,除了本文介绍的覆盖式数据导入,还有其他诸如忽略冲突的INSERT IGNORE导入等等其他的导入方式,这些导入场景可以以使用基础的INSERT、UPDATE、DELETE、TRUNCATE来组合实现,但是也同样会对高级的一键SQL功能有直接诉求,后面有机会再叙述。

MySQL 相关文章推荐
数据库的高级查询六:表连接查询:外连接(左外连接,右外连接,UNION关键字,连接中ON与WHERE的不同)
Apr 05 MySQL
Windows10下安装MySQL8
Apr 06 MySQL
详解MySQL的半同步
Apr 22 MySQL
MySQL Router实现MySQL的读写分离的方法
May 27 MySQL
MySQL query_cache_type 参数与使用详解
Jul 01 MySQL
MySQL系列之十二 备份与恢复
Jul 02 MySQL
MySQL去除重叠时间求时间差和的实现
Aug 23 MySQL
Mysql binlog日志文件过大的解决
Oct 05 MySQL
MySQL派生表联表查询实战过程
Mar 20 MySQL
如何创建一个创建MySQL数据库中的datetime类型
Mar 21 MySQL
Windows下载并安装MySQL8.0.x 版本的完整教程
Apr 10 MySQL
MySQL如何修改字段类型和字段长度
Jun 10 MySQL
Mysql如何实现不存在则插入,存在则更新
Mar 25 #MySQL
MySQL插入数据与查询数据
mysql insert 存在即不插入语法说明
Mar 25 #MySQL
MySQL创建表操作命令分享
mysql数据插入覆盖和时间戳的问题及解决
MySQL实战记录之如何快速定位慢SQL
Mar 23 #MySQL
MySQL中rank() over、dense_rank() over、row_number() over用法介绍
Mar 23 #MySQL
You might like
ThinkPHP访问不存在的模块跳转到404页面的方法
2014/06/19 PHP
PHP使用imagick扩展实现合并图像的方法
2017/04/25 PHP
PHP回调函数与匿名函数实例详解
2017/08/16 PHP
基于Laravel-admin 后台的自定义页面用法详解
2019/09/30 PHP
dwr spring的集成实现代码
2009/03/22 Javascript
充分发挥Node.js程序性能的一些方法介绍
2015/06/23 Javascript
jquery实现的用户注册表单提示操作效果代码分享
2015/08/28 Javascript
基于Vue2的移动端开发环境搭建详解
2016/11/03 Javascript
jquery实现转盘抽奖功能
2017/01/06 Javascript
Angular多选、全选、批量选择操作实例代码
2017/03/10 Javascript
js实现本地图片文件拖拽效果
2017/07/18 Javascript
vue-cli项目根据线上环境分别打出测试包和生产包
2018/05/23 Javascript
一个手写的vue放大镜效果
2019/08/09 Javascript
JS实现贪吃蛇游戏
2019/11/15 Javascript
详解使用mocha对webpack打包的项目进行&quot;冒烟测试&quot;的大致流程
2020/04/27 Javascript
Python中lambda的用法及其与def的区别解析
2014/07/28 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
2017/03/19 Python
python实现机器人行走效果
2018/01/29 Python
对django中render()与render_to_response()的区别详解
2018/10/16 Python
Python中typing模块与类型注解的使用方法
2019/08/05 Python
Python文件路径名的操作方法
2019/10/30 Python
python GUI库图形界面开发之PyQt5不规则窗口实现与显示GIF动画的详细方法与实例
2020/03/09 Python
Python通过Schema实现数据验证方式
2020/11/12 Python
关于多种方式完美解决Python pip命令下载第三方库的问题
2020/12/21 Python
使用css实现android系统的loading加载动画
2019/07/25 HTML / CSS
2013届毕业生求职信范文
2013/11/20 职场文书
材料采购员岗位职责
2013/12/17 职场文书
残疾人创业典型事迹
2014/02/01 职场文书
幼儿园小班教师寄语
2014/04/03 职场文书
学校党的群众路线教育实践活动整改措施
2014/10/25 职场文书
海洋天堂观后感
2015/06/05 职场文书
导游词之蓬莱长岛
2019/12/17 职场文书
PHP实现创建以太坊钱包转账等功能
2021/04/21 PHP
MySQL表类型 存储引擎 的选择
2021/11/11 MySQL
一次线上mongo慢查询问题排查处理记录
2022/03/18 MongoDB
Linux服务器离线安装 nginx的详细步骤
2022/06/16 Servers