提高系统的吞吐量解决数据库重复写入问题


Posted in MySQL onApril 23, 2022

问题分析

为了提高系统的吞吐量,很多环节下对于数据库的写入是多线程,甚至是多进程的。为了保证写入成功,在很多情况下需要多次重试。这就会带来一个问题,数据重复,同一条数据会被记录多次。有些情况下数据重复无伤大雅,但是很多情况系统是无法容忍数据重复的。因此这个问题需要解决。我个人觉得解决这一问题有两个方向:第一,从数据库上保证数据不重复,第二,从程序上保证数据不重复。

数据库上解决

主要包括:主键,唯一性索引,甚至是临时表。程序上解决无非就是要保证同步,这两种方式能解决很多情况下的数据重复。但是有些情况可能比较棘手,使用者两种方法有时并不能很好的解决,或实现起来比较复杂,如下面的数据

假如下表主要字段如下:

id  studentId  teacherId  states 

状态(states)是有多种的(0,1,2,3),状态可以转换,但是状态为,0的一个只能由一个,其它字段是可以重复的。这个其实就是保证某一种状态下的数据不重复。

首先唯一性索引不能够起作用,因为无法建立唯一性索引。主键也没有效果,没法通过这些字段生成可区分的id。所以这两种方法都失效了。还有一种方法就是临时表,在临时表中插入一条能够区分的数据(比如studentId,teacherId组合),无论是唯一索引还是主键都可以。写入时首先写临时表,临时表写入成功则插入一条数据,然后清空临时表。这在严格保证数据不重复的情况下是能够起作用的,但是比较繁琐,需要处理一个临时表。

另外的一个办法就是根据我们的业务场景,在一个时间段内(比如1分钟)不会出现两条相同数据写入。这样我们可以使用studentIdTeacherid加上精确到分钟的时间来构成一个唯一id,重试时间间隔一般都极短(秒级别),这样通过id来保证数据的唯一性。

从程序上保证数据不重复

如果从程序上来保证数据不重复,则更加复杂。第一种办法是对写入过程加锁,确保只有一次写入成功代码如下(伪代码):

 

Lock lock =new WriteLock();
public void write(Data data){
try{
     if(lock.tryLock() ){
               dataRepository.save(data);
               if(dataRepository.numberOf(data)>1){//在写入的时候检测如果数据库中有该数据抛出异常。再次保证数据不重复。
                   throw new DataException
            }
      
     }  
  }finally{
     lock.unlock();
  }
}

 

这种方式首先会存在效率问题,所有的数据都要顺序写入会导入效率下降。我们只需要保证同一条数据不能并发写入而不是不同数据。另外这种方式还会存在一定概率的重复,因为网络问题和数据库或ORM框架的缓存问题,会导致写入检测时并不能发现数据库的更新。比如使用hibernate,两次线程调用write方法会使用两个session,从而使得第一次写入缓存的数据无法在下一次操作中看到。在write方法中多次调用numberOf方法也是不起用的,由于session的缓存,后面的查询会使用第一次的缓存结果,在第一次查询后的数据库变化,后面的查询仍然无法觉察。

针对写入效率低的问题,这里可以采用数据锁,即通过一种方法比如使用data的hashcode来映射来获取锁,这样不同的数据会获取到不同的锁,解决了所有数据的顺序写入问题。但是跟第一种情况一样仍会存在数据重复问题。

对于多进程的情况,如微服务部署多个的情况,上面的同步会失效。对于这种情况唯一的解决办法就是使用上面所说的数据库同步或者构造一个环节锁,类似于令牌的方法。只有获取到令牌才有写入资格,写入成功后销毁针对该数据的“令牌“。这种实现其实也比较简单,如使用一个redis的hashmap,每次写入首先获取该数据对应的value,通过value来判断该数据是否写入,来保证数据不重复。

总结

上面无论哪种方法,针对本文所提到的数据,解决重复问题都是不容易的。要么实现起来比较复杂,要么还是不能100%保证数据不重复。针对我们的业务场景:state为0的状态下数据能有一条,且0的状态不会持续太久,后面的操作会将其修改。而且多线程重试并不是每次都发生的,多进程情况下,每次数据写入也多是只通过其中一个节点,针对这种情况其实可以采取更简单的处理方式,不做过多的顺序限制只在写入时检查数据库,如果真的因为数据更新或者并发导致了多次写入也没有关系(这种情况很少),后续的操作时再删除多写入的数据。这是一种乐观的处理方式,但是对于很多情况是可以解决数据重复问题的。

以上是我个人对于只有某种状态的数据不能重复写入问题的处理方法的思考。主要是从数据库和程序上来控制及如果场景允许使用乐观(后续补救)的方法。仅供参考!


Tags in this post...

MySQL 相关文章推荐
详解MySQL事务的隔离级别与MVCC
Apr 22 MySQL
MySQL 自定义变量的概念及特点
May 13 MySQL
python中的mysql数据库LIKE操作符详解
Jul 01 MySQL
Centos7中MySQL数据库使用mysqldump进行每日自动备份的编写
Aug 02 MySQL
Mysql8.0递归查询的简单用法示例
Aug 04 MySQL
MySQL中的引号和反引号的区别与用法详解
Oct 24 MySQL
彻底解决MySQL使用中文乱码的方法
Jan 22 MySQL
面试中老生常谈的MySQL问答集锦夯实基础
Mar 13 MySQL
在MySQL中你成功的避开了所有索引
Apr 20 MySQL
mysql 获取相邻数据项
May 11 MySQL
MySQL串行化隔离级别(间隙锁实现)
Jun 16 MySQL
mysql函数之截取字符串的实现
Aug 14 MySQL
MySQL 数据库范式化设计理论
Apr 22 #MySQL
MySQL提取JSON字段数据实现查询
mysql使用FIND_IN_SET和group_concat两个方法查询上下级机构
Apr 20 #MySQL
在MySQL中你成功的避开了所有索引
Apr 20 #MySQL
mysql中如何用命令创建联合唯一索引
Apr 20 #MySQL
mysql 8.0.27 绿色解压版安装教程及配置方法
MySQL去除密码登录告警的方法
Apr 20 #MySQL
You might like
把从SQL中取出的数据转化成XMl格式
2006/10/09 PHP
php身份证号码检查类实例
2015/06/18 PHP
使用PHP和JavaScript判断请求是否来自微信内浏览器
2015/08/18 PHP
分享php代码将360浏览器导出的favdb的sqlite数据库文件转换为html
2015/12/09 PHP
PHP实现对xml的增删改查操作案例分析
2017/05/19 PHP
js函数使用技巧之 setTimeout(function(){},0)
2009/02/09 Javascript
JavaScript DOM 学习第七章 表单的扩展
2010/02/19 Javascript
javascript 禁用IE工具栏,导航栏等等实现代码
2013/04/01 Javascript
jQuery.extend()、jQuery.fn.extend()扩展方法示例详解
2014/05/08 Javascript
jQuery实现鼠标经过提示信息的地图热点效果
2015/04/26 Javascript
深入解析JavaScript编程中的this关键字使用
2015/11/09 Javascript
canvas实现粒子时钟效果
2017/02/06 Javascript
js轮播图透明度切换(带上下页和底部圆点切换)
2017/04/27 Javascript
jQuery实现DIV响应鼠标滑过由下向上展开效果示例【测试可用】
2018/04/26 jQuery
vue3.0 CLI - 2.2 - 组件 home.vue 的初步改造
2018/09/14 Javascript
解决JS表单验证只有第一个IF起作用的问题
2018/12/04 Javascript
ES6知识点整理之函数对象参数默认值及其解构应用示例
2019/04/17 Javascript
js贪心算法 钱币找零问题代码实例
2019/09/11 Javascript
vue 解决兄弟组件、跨组件深层次的通信操作
2020/07/27 Javascript
python连接mysql数据库示例(做增删改操作)
2013/12/31 Python
用Python中的__slots__缓存资源以节省内存开销的方法
2015/04/02 Python
transform python环境快速配置方法
2018/09/27 Python
python基于FTP实现文件传输相关功能代码实例
2019/09/28 Python
python 统计文件中的字符串数目示例
2019/12/24 Python
python 微信好友特征数据分析及可视化
2020/01/07 Python
python设置环境变量的作用整理
2020/02/17 Python
Python基于traceback模块获取异常信息
2020/07/23 Python
如何利用python进行时间序列分析
2020/08/04 Python
微信端html5页面调用分享接口示例
2018/03/14 HTML / CSS
简约控的天堂:The Undone
2016/12/21 全球购物
商务日语专业毕业生求职信
2013/10/26 职场文书
数学检讨书1000字
2014/02/24 职场文书
婚前协议书标准版
2014/10/19 职场文书
2014年底个人工作总结
2015/03/10 职场文书
宾馆前台接待岗位职责
2015/04/02 职场文书
PHP实现rar解压读取扩展包小结
2021/06/03 PHP