mysql分表之后如何平滑上线详解


Posted in MySQL onNovember 01, 2021

分表的目的

项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多。以至于查询数据变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈。

当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力。提升了数据库访问性能。

举个栗子

比如咱们最常见的用户表(user表)

 

id user_id 其他字段
主键id 用户id 其他字段

咱们一般都会用user_id去查询对应的用户信息,但是随着业务的增长,这张表会越来越大,甚至上亿,严重影响了查询性能。 所以咱们就会对这张表进行分表处理,分到多张表减小查询压力

分表策略

以分10张表为例(具体分多少张表 根据实际情况来估算) 首先咱们建10张表 user1、user2、user3。。。。。user10

一般情况下,我们都会用作为索引的字段(user_id)进行取模处理。想分多少张表,就按照多少取模,比如这个case就是10

$table_name = $user_id % 10;

按照上面的取模公式

  • user_id为1295的会落在user5里面
  • user_id为8634的会落在user4里面
  • 。。。。。。。

「每次CURD根据上面查找表的策略进行就行了」,这个问题不大,我们暂且先不多说。

已经上线的运行中的表怎么办?

其实上面的方法大家应该都知道怎么用,但是有个问题,已经上线了的表怎么办?那张表的数据在线上是一直被查找或者改变的。如何能够进行平滑的分表,并且让用户无感知呢?

方法1

直接上线,提前写个脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,一上线了赶紧执行

这种方法明显是行不通的,主要是存在以下问题

  • 如果执行过程中脚本有问题怎么办?代码全部回滚?
  • 脚本把把旧表(user)的数据同步到user1表到user10表,这个脚本得执行多久? 如果是1个小时,那么这段时间线上和这张表相关的业务都是不正常的

这显然是行不通的,对线上影响很大。

方法2

先写个同步数据的脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,脚本同步完了再上线。

这个方法看起来友好了一些,不过也存在一些问题。

  • 脚本同步完,立即上线,这两件事之间是有一些时间差的,这个时间差中线上表可能有一些改动,这些改动怎么办?

「以上两种方法看起来貌似都行不通,所以看来得来点不一样的了。咱们直接看结论。」

步骤1 上线双写

首先咱们把双写上线了,什么意思呢?比如user_id=123,对于增加,删除,修改操作来说,咱们既操作user表,也操作user_id=123对应的user3表。

function modify($user_id){  //包含增加,删除,修改操作
  modify_user();  //modify user表
  $table_name = $user_id % 10;
  modify_user($table_name) //modify对应的分表
}

因为查询的部分还是在user表中查询的,所以上面的操作对线上用户是无任何影响的。

步骤2 全量同步

写一个全量同步user表到user1-user10的表,最好找个低峰期执行脚本,以防万一影响user表的查询

这一步执行之后,因为咱们之前上线了双写(见步骤1),所以user表和user1-user10表之间的数据已经是完全一致的了。

步骤3 查询新表数据

将查询的部分改到user1-user10

因为前面两个步骤咱们已经保证了user表和各个分表之间的数据完全一致性,所以直接把查询的部分改掉是没有任何问题的

如果按照以上步骤执行,那么对线上的数据是没有任何影响的,而且我们线上就是这么操作了,经过了多次实践确保不会出问题,放心使用即可。

总结

到此这篇关于mysql分表之后如何平滑上线的文章就介绍到这了,更多相关mysql分表平滑上线内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
mysql多表查询-笔记七
Apr 05 MySQL
浅谈Mysql多表连接查询的执行细节
Apr 24 MySQL
MySQL中你可能忽略的COLLATION实例详解
May 12 MySQL
MySQL为id选择合适的数据类型
Jun 07 MySQL
详细谈谈MYSQL中的COLLATE是什么
Jun 11 MySQL
Mysql数据库手动及定时备份步骤
Nov 07 MySQL
Mysql中一千万条数据怎么快速查询
Dec 06 MySQL
Mysql Innodb存储引擎之索引与算法
Feb 15 MySQL
面试提问mysql一张表到底能存多少数据
Mar 13 MySQL
MySQL查询日期时间
May 15 MySQL
MySQL中JOIN连接的基本用法实例
Jun 05 MySQL
MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”解决方法
Jun 14 MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
mysql事务隔离级别详情
mysql主从复制的实现步骤
记一次Mysql不走日期字段索引的原因小结
Oct 24 #MySQL
Mysql关于数据库是否应该使用外键约束详解说明
Oct 24 #MySQL
You might like
德生S2000收音机更换“钕铁硼”全频扬声器
2021/03/02 无线电
PHP新手上路(十)
2006/10/09 PHP
ionCube 一款类似zend的PHP加密/解密工具
2010/07/25 PHP
PHP中CURL方法curl_setopt()函数的参数分享
2013/01/19 PHP
PHP实现简单汉字验证码
2015/07/28 PHP
PHP实现页面静态化深入讲解
2021/03/04 PHP
用js自动判断浏览器分辨率的代码
2007/01/28 Javascript
input输入框的自动匹配(原生代码)
2013/03/19 Javascript
JS实现商品倒计时实现代码
2013/05/03 Javascript
jQuery插件 selectToSelect使用方法
2013/10/02 Javascript
javascript设置金额样式转换保留两位小数示例代码
2013/12/04 Javascript
javascript实现抽奖程序的简单实例
2016/06/07 Javascript
JavaScript数组复制详解
2017/02/02 Javascript
js仿网易表单及时验证功能
2017/03/07 Javascript
Vue动态组件实例解析
2017/08/20 Javascript
AngularJS实现的输入框字数限制提醒功能示例
2017/10/26 Javascript
layui在form表单页面通过Validform加入简单验证的方法
2019/09/06 Javascript
vue实现配置全局访问路径头(axios)
2019/11/01 Javascript
Vue请求java服务端并返回数据代码实例
2019/11/28 Javascript
vue页面加载时的进度条功能(实例代码)
2020/01/13 Javascript
详解vue-cli项目在IE浏览器打开报错解决方法
2020/12/10 Vue.js
Python random模块常用方法
2014/11/03 Python
python实现图片文件批量重命名
2020/03/23 Python
Django 路由控制的实现代码
2018/11/08 Python
matplotlib.pyplot.matshow 矩阵可视化实例
2020/06/16 Python
手把手教你将Flask应用封装成Docker服务的实现
2020/08/19 Python
最新英语专业学生求职信范文
2013/09/21 职场文书
毕业生欢送会主持词
2014/03/31 职场文书
致共产党员倡议书
2014/04/16 职场文书
初中学生操行评语
2014/12/26 职场文书
2015年大学生入党自荐书
2015/03/24 职场文书
成绩单家长意见
2015/06/03 职场文书
html+css实现滚动到元素位置显示加载动画效果
2021/08/02 HTML / CSS
MySQL 数据库范式化设计理论
2022/04/22 MySQL
nginx设置资源请求目录的方式详解
2022/05/30 Servers
使用CSS实现黑白格背景效果
2022/06/01 HTML / CSS