mysql分表之后如何平滑上线详解


Posted in MySQL onNovember 01, 2021

分表的目的

项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多。以至于查询数据变慢,而且由于表的锁机制导致应用操作也受到严重影响,出现了数据库性能瓶颈。

当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力。提升了数据库访问性能。

举个栗子

比如咱们最常见的用户表(user表)

 

id user_id 其他字段
主键id 用户id 其他字段

咱们一般都会用user_id去查询对应的用户信息,但是随着业务的增长,这张表会越来越大,甚至上亿,严重影响了查询性能。 所以咱们就会对这张表进行分表处理,分到多张表减小查询压力

分表策略

以分10张表为例(具体分多少张表 根据实际情况来估算) 首先咱们建10张表 user1、user2、user3。。。。。user10

一般情况下,我们都会用作为索引的字段(user_id)进行取模处理。想分多少张表,就按照多少取模,比如这个case就是10

$table_name = $user_id % 10;

按照上面的取模公式

  • user_id为1295的会落在user5里面
  • user_id为8634的会落在user4里面
  • 。。。。。。。

「每次CURD根据上面查找表的策略进行就行了」,这个问题不大,我们暂且先不多说。

已经上线的运行中的表怎么办?

其实上面的方法大家应该都知道怎么用,但是有个问题,已经上线了的表怎么办?那张表的数据在线上是一直被查找或者改变的。如何能够进行平滑的分表,并且让用户无感知呢?

方法1

直接上线,提前写个脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,一上线了赶紧执行

这种方法明显是行不通的,主要是存在以下问题

  • 如果执行过程中脚本有问题怎么办?代码全部回滚?
  • 脚本把把旧表(user)的数据同步到user1表到user10表,这个脚本得执行多久? 如果是1个小时,那么这段时间线上和这张表相关的业务都是不正常的

这显然是行不通的,对线上影响很大。

方法2

先写个同步数据的脚本,脚本内容是把旧表(user)的数据同步到user1表到user10表,脚本同步完了再上线。

这个方法看起来友好了一些,不过也存在一些问题。

  • 脚本同步完,立即上线,这两件事之间是有一些时间差的,这个时间差中线上表可能有一些改动,这些改动怎么办?

「以上两种方法看起来貌似都行不通,所以看来得来点不一样的了。咱们直接看结论。」

步骤1 上线双写

首先咱们把双写上线了,什么意思呢?比如user_id=123,对于增加,删除,修改操作来说,咱们既操作user表,也操作user_id=123对应的user3表。

function modify($user_id){  //包含增加,删除,修改操作
  modify_user();  //modify user表
  $table_name = $user_id % 10;
  modify_user($table_name) //modify对应的分表
}

因为查询的部分还是在user表中查询的,所以上面的操作对线上用户是无任何影响的。

步骤2 全量同步

写一个全量同步user表到user1-user10的表,最好找个低峰期执行脚本,以防万一影响user表的查询

这一步执行之后,因为咱们之前上线了双写(见步骤1),所以user表和user1-user10表之间的数据已经是完全一致的了。

步骤3 查询新表数据

将查询的部分改到user1-user10

因为前面两个步骤咱们已经保证了user表和各个分表之间的数据完全一致性,所以直接把查询的部分改掉是没有任何问题的

如果按照以上步骤执行,那么对线上的数据是没有任何影响的,而且我们线上就是这么操作了,经过了多次实践确保不会出问题,放心使用即可。

总结

到此这篇关于mysql分表之后如何平滑上线的文章就介绍到这了,更多相关mysql分表平滑上线内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL CHAR和VARCHAR该如何选择
May 31 MySQL
Mysql数据库索引面试题(程序员基础技能)
May 31 MySQL
Mysql数据库按时间点恢复实战记录
Jun 30 MySQL
MySQL命令无法输入中文问题的解决方式
Aug 30 MySQL
MySQL修改默认引擎和字符集详情
Sep 25 MySQL
MySQL 服务和数据库管理
Nov 11 MySQL
MySQL中一条update语句是如何执行的
Mar 16 MySQL
利用JuiceFS使MySQL 备份验证性能提升 10 倍
Mar 17 MySQL
详解MySQL的主键查询为什么这么快
Apr 03 MySQL
为什么MySQL不建议使用SELECT *
Apr 03 MySQL
sql查询语句之平均分、最高最低分及排序语句
May 30 MySQL
MySQL事务的ACID特性以及并发问题方案
Jul 15 MySQL
MySQL8.0升级的踩坑历险记
Nov 01 #MySQL
详细聊聊关于Mysql联合查询的那些事儿
Oct 24 #MySQL
mysql事务对效率的影响分析总结
Oct 24 #MySQL
mysql事务隔离级别详情
mysql主从复制的实现步骤
记一次Mysql不走日期字段索引的原因小结
Oct 24 #MySQL
Mysql关于数据库是否应该使用外键约束详解说明
Oct 24 #MySQL
You might like
php url地址栏传中文乱码解决方法集合
2010/06/25 PHP
php array的学习笔记
2012/05/16 PHP
php中preg_match的isU代表什么意思
2015/10/01 PHP
PHP实现15位身份证号转18位的方法分析
2019/10/16 PHP
javascript Split方法,indexOf方法、lastIndexOf 方法和substring 方法
2009/03/21 Javascript
js 数组实现一个类似ruby的迭代器
2009/10/27 Javascript
js判断两个日期是否相等的方法
2013/09/10 Javascript
从JQuery源码分析JavaScript函数的apply方法与call方法
2014/09/25 Javascript
JS实现判断滚动条滚到页面底部并执行事件的方法
2014/12/18 Javascript
JavaScript中对象property的读取和写入方法介绍
2014/12/30 Javascript
浅谈javascript 函数属性和方法
2015/01/21 Javascript
一道常被人轻视的web前端常见面试题(JS)
2016/02/15 Javascript
switch语句的妙用(必看篇)
2016/10/03 Javascript
jquery,js简单实现类似Angular.js双向绑定
2017/01/13 Javascript
windows 下安装nodejs 环境变量设置
2017/02/02 NodeJs
基于Vue实现tab栏切换内容不断实时刷新数据功能
2017/04/13 Javascript
jQuery、layer实现弹出层的打开、关闭功能
2017/06/28 jQuery
原生javascript AJAX 三级联动的实现代码
2018/05/04 Javascript
详解小程序rich-text对富文本支持方案
2018/11/28 Javascript
Angular5整合富文本编辑器TinyMCE的方法(汉化+上传)
2020/05/26 Javascript
python3实现elasticsearch批量更新数据
2019/12/03 Python
python操作cfg配置文件方式
2019/12/22 Python
python实现逻辑回归的示例
2020/10/09 Python
CSS3实现任意图片lowpoly动画效果实例
2017/05/11 HTML / CSS
使用HTML5的Canvas绘制曲线的简单方法
2015/09/08 HTML / CSS
关于解决iframe标签嵌套问题的解决方法
2020/03/04 HTML / CSS
英国复古和经典球衣网站:Vintage Football Shirts
2018/10/05 全球购物
澳大利亚在线床零售商:Bedworks
2020/09/01 全球购物
增员口号大全
2014/06/18 职场文书
申报材料格式
2014/12/30 职场文书
教育实习指导教师评语
2014/12/31 职场文书
安全教育主题班会总结
2015/08/14 职场文书
2016年五四青年节校园广播稿
2015/12/17 职场文书
一篇带你入门Java垃圾回收器
2021/06/16 Java/Android
Python 统计序列中元素的出现频度
2022/04/26 Python
python blinker 信号库
2022/05/04 Python