提高系统的吞吐量解决数据库重复写入问题


Posted in MySQL onApril 23, 2022

问题分析

为了提高系统的吞吐量,很多环节下对于数据库的写入是多线程,甚至是多进程的。为了保证写入成功,在很多情况下需要多次重试。这就会带来一个问题,数据重复,同一条数据会被记录多次。有些情况下数据重复无伤大雅,但是很多情况系统是无法容忍数据重复的。因此这个问题需要解决。我个人觉得解决这一问题有两个方向:第一,从数据库上保证数据不重复,第二,从程序上保证数据不重复。

数据库上解决

主要包括:主键,唯一性索引,甚至是临时表。程序上解决无非就是要保证同步,这两种方式能解决很多情况下的数据重复。但是有些情况可能比较棘手,使用者两种方法有时并不能很好的解决,或实现起来比较复杂,如下面的数据

假如下表主要字段如下:

id  studentId  teacherId  states 

状态(states)是有多种的(0,1,2,3),状态可以转换,但是状态为,0的一个只能由一个,其它字段是可以重复的。这个其实就是保证某一种状态下的数据不重复。

首先唯一性索引不能够起作用,因为无法建立唯一性索引。主键也没有效果,没法通过这些字段生成可区分的id。所以这两种方法都失效了。还有一种方法就是临时表,在临时表中插入一条能够区分的数据(比如studentId,teacherId组合),无论是唯一索引还是主键都可以。写入时首先写临时表,临时表写入成功则插入一条数据,然后清空临时表。这在严格保证数据不重复的情况下是能够起作用的,但是比较繁琐,需要处理一个临时表。

另外的一个办法就是根据我们的业务场景,在一个时间段内(比如1分钟)不会出现两条相同数据写入。这样我们可以使用studentIdTeacherid加上精确到分钟的时间来构成一个唯一id,重试时间间隔一般都极短(秒级别),这样通过id来保证数据的唯一性。

从程序上保证数据不重复

如果从程序上来保证数据不重复,则更加复杂。第一种办法是对写入过程加锁,确保只有一次写入成功代码如下(伪代码):

 

Lock lock =new WriteLock();
public void write(Data data){
try{
     if(lock.tryLock() ){
               dataRepository.save(data);
               if(dataRepository.numberOf(data)>1){//在写入的时候检测如果数据库中有该数据抛出异常。再次保证数据不重复。
                   throw new DataException
            }
      
     }  
  }finally{
     lock.unlock();
  }
}

 

这种方式首先会存在效率问题,所有的数据都要顺序写入会导入效率下降。我们只需要保证同一条数据不能并发写入而不是不同数据。另外这种方式还会存在一定概率的重复,因为网络问题和数据库或ORM框架的缓存问题,会导致写入检测时并不能发现数据库的更新。比如使用hibernate,两次线程调用write方法会使用两个session,从而使得第一次写入缓存的数据无法在下一次操作中看到。在write方法中多次调用numberOf方法也是不起用的,由于session的缓存,后面的查询会使用第一次的缓存结果,在第一次查询后的数据库变化,后面的查询仍然无法觉察。

针对写入效率低的问题,这里可以采用数据锁,即通过一种方法比如使用data的hashcode来映射来获取锁,这样不同的数据会获取到不同的锁,解决了所有数据的顺序写入问题。但是跟第一种情况一样仍会存在数据重复问题。

对于多进程的情况,如微服务部署多个的情况,上面的同步会失效。对于这种情况唯一的解决办法就是使用上面所说的数据库同步或者构造一个环节锁,类似于令牌的方法。只有获取到令牌才有写入资格,写入成功后销毁针对该数据的“令牌“。这种实现其实也比较简单,如使用一个redis的hashmap,每次写入首先获取该数据对应的value,通过value来判断该数据是否写入,来保证数据不重复。

总结

上面无论哪种方法,针对本文所提到的数据,解决重复问题都是不容易的。要么实现起来比较复杂,要么还是不能100%保证数据不重复。针对我们的业务场景:state为0的状态下数据能有一条,且0的状态不会持续太久,后面的操作会将其修改。而且多线程重试并不是每次都发生的,多进程情况下,每次数据写入也多是只通过其中一个节点,针对这种情况其实可以采取更简单的处理方式,不做过多的顺序限制只在写入时检查数据库,如果真的因为数据更新或者并发导致了多次写入也没有关系(这种情况很少),后续的操作时再删除多写入的数据。这是一种乐观的处理方式,但是对于很多情况是可以解决数据重复问题的。

以上是我个人对于只有某种状态的数据不能重复写入问题的处理方法的思考。主要是从数据库和程序上来控制及如果场景允许使用乐观(后续补救)的方法。仅供参考!


Tags in this post...

MySQL 相关文章推荐
数据库连接池
Apr 06 MySQL
MySQL查询学习之基础查询操作
May 08 MySQL
Mysql 如何查询时间段交集
Jun 08 MySQL
MySQL深度分页(千万级数据量如何快速分页)
Jul 25 MySQL
MySQL的全局锁和表级锁的具体使用
Aug 23 MySQL
MySQL Innodb索引机制详细介绍
Nov 23 MySQL
mysql中整数数据类型tinyint详解
Dec 06 MySQL
MySQL派生表联表查询实战过程
Mar 20 MySQL
MySQL的存储函数与存储过程的区别解析
Apr 08 MySQL
MySQL慢查询中的commit慢和binlog中慢事务的区别
Jun 16 MySQL
MySQL提升大量数据查询效率的优化神器
Jul 07 MySQL
MySQL数据库查询之多表查询总结
Aug 05 MySQL
MySQL 数据库范式化设计理论
Apr 22 #MySQL
MySQL提取JSON字段数据实现查询
mysql使用FIND_IN_SET和group_concat两个方法查询上下级机构
Apr 20 #MySQL
在MySQL中你成功的避开了所有索引
Apr 20 #MySQL
mysql中如何用命令创建联合唯一索引
Apr 20 #MySQL
mysql 8.0.27 绿色解压版安装教程及配置方法
MySQL去除密码登录告警的方法
Apr 20 #MySQL
You might like
PHP获取文件后缀名的三个函数
2012/10/15 PHP
PHP.ini中配置屏蔽错误信息显示和保存错误日志的例子
2014/05/12 PHP
php根据某字段对多维数组进行排序的方法
2015/03/07 PHP
php更新cookie内容的详细方法
2019/09/30 PHP
在 Laravel 中动态隐藏 API 字段的方法
2019/10/25 PHP
点击文章内容处弹出页面代码
2009/10/01 Javascript
关于jQuery UI 使用心得及技巧
2012/10/10 Javascript
JavaScript cookie的设置获取删除详解
2014/02/11 Javascript
JS数组(Array)处理函数整理
2014/12/07 Javascript
jQuery中has()方法用法实例
2015/01/06 Javascript
jQuery中empty()方法用法实例
2015/01/16 Javascript
jQuery操作JSON的CRUD用法实例
2015/02/25 Javascript
AngularJS的一些基本样式初窥
2015/07/27 Javascript
Json对象和字符串互相转换json数据拼接和JSON使用方式详细介绍(小结)
2016/10/25 Javascript
js实现截图保存图片功能的代码示例
2017/02/16 Javascript
JavaScript中this的用法及this在不同应用场景的作用解析
2017/04/13 Javascript
js中getBoundingClientRect的作用及兼容方案详解
2018/02/01 Javascript
vue element table 表格请求后台排序的方法
2018/09/28 Javascript
javascript原型链学习记录之继承实现方式分析
2019/05/01 Javascript
JS获取当前时间的年月日时分秒及时间的格式化的方法
2019/12/18 Javascript
Vue 中使用 typescript的方法详解
2020/02/17 Javascript
原生js实现自定义滚动条组件
2021/01/20 Javascript
python实现k均值算法示例(k均值聚类算法)
2014/03/16 Python
用Python的SimPy库简化复杂的编程模型的介绍
2015/04/13 Python
django中的HTML控件及参数传递方法
2018/03/20 Python
浅谈Python接口对json串的处理方法
2018/12/19 Python
django使用xadmin的全局配置详解
2019/11/15 Python
python新式类和经典类的区别实例分析
2020/03/23 Python
4款Python 类型检查工具,你选择哪个呢?
2020/10/30 Python
canvas绘制太极图的实现示例
2020/04/29 HTML / CSS
Urban Outfitters美国官网:美国生活方式品牌
2016/08/26 全球购物
NET程序员上机面试题
2015/05/23 面试题
财务专业大学生职业生涯规划范文
2013/12/30 职场文书
行政部经理助理岗位职责
2014/06/15 职场文书
经理岗位职责
2015/02/02 职场文书
财政局个人总结
2015/03/04 职场文书