详解一种用django_cache实现分布式锁的方式


Posted in Python onSeptember 01, 2019

问题背景

在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱。

在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能。

资料查找

基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种:

第一种锁命令INCR

这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一。 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中。

第二种锁命令SETNX

这种加锁的思路是,如果 key 不存在,将 key 设置为 value 如果 key 已存在,则 SETNX 不做任何动作

第三种锁命令SET

上面两种方法都有一个问题,会发现,都需要设置 key 过期。那么为什么要设置key过期呢?如果请求执行因为某些原因意外退出了,导致创建了锁但是没有删除锁,那么这个锁将一直存在,以至于以后缓存再也得不到更新。于是乎我们需要给锁加一个过期时间以防不测。

在实际编写中,我综合了第二种和第三种方式,即用键名来设置锁,同时设置了过期时间,以防长时间占用。

另外,关于如何使用django-cache去使用数据库缓存,相关的API整理如下:

from django.core.cache import caches
# 设置锁和超时时间
cache.set('my_key', 'Initial value', 60)
# 获取锁
cache.get('my_key')
# 更新锁
cache.add('add_key', 'New value')

代码编写

在经过多次的迭代,并且对比了网上的各路写法后,我结合django-cache的特性,最终总结了一套较为简洁的写法。

首先是一个CacheLock的类,初始化方法里可以传执行超时时间,和拿锁等待的时间。CacheLock类的主要方法有两个,一个是拿锁的方法,一个是释放锁的方法。

拿锁的方法中,键名根据操作的具体对象来定,键值为uuid值,超时时间默认为60s。一旦发现能拿到锁,则返回uuid值。

释放锁的方法中,首先比较键值和uuid值是否一致,一致则释放,避免因超时情况导致把其他的正在操作的锁给释放掉。

class CacheLock(object):
 def __init__(self, expires=60, wait_timeout=0):
 self.cache = cache
 self.expires = expires # 函数执行超时时间
 self.wait_timeout = wait_timeout # 拿锁等待超时时间

 def get_lock(self, lock_key):
 # 获取cache锁
 wait_timeout = self.wait_timeout
 identifier = uuid.uuid4()
 while wait_timeout >= 0:
  if self.cache.add(lock_key, identifier, self.expires):
  return identifier
  wait_timeout -= 1
  time.sleep(1)
 raise LockTimeout({'msg': '当前有其他用户正在编辑该采集配置,请稍后重试'})

 def release_lock(self, lock_key, identifier):
 # 释放cache锁
 lock_value = self.cache.get(lock_key)
 if lock_value == identifier:
  self.cache.delete(lock_key)

另外,将缓存锁写成一个装饰器,对需要加锁的地方,添加上该装饰器,则可以很轻松地实现锁功能。

def lock(cache_lock):
 def my_decorator(func):
 def wrapper(*args, **kwargs):
  lock_key = 'bk_monitor:lock:xxx' # 具体的lock_key要根据调用时传的参数而定
  identifier = cache_lock.get_lock(lock_key)
  try:
  return func(*args, **kwargs)
  finally:
  cache_lock.release_lock(lock_key, identifier)
 return wrapper
 return my_decorator

再举一个实际调用中的例子:

@lock(CacheLock())
def f():
 pass

另外,我在设置缓存的key名的时候,会根据函数的具体操作对象,从而给装饰器传递相应的参数,这里就不再举例了。

优化改进

当然,实现以上功能需求一定还有别的更好的方式,关于锁的实现,网络上有很多别的方式,比如基于zookeeper实现分布式锁、基于数据库实现分布式锁等等,它们在可靠性或性能方面都各有长短,要根据具体场景进行取舍,所以还有非常多值得研究的地方。

我这里也只是抛砖引玉,欢迎拍砖~

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python Django连接MySQL数据库做增删改查
Nov 07 Python
详解python上传文件和字符到PHP服务器
Nov 24 Python
python获取当前目录路径和上级路径的实例
Apr 26 Python
查看python安装路径及pip安装的包列表及路径
Apr 03 Python
Python闭包和装饰器用法实例详解
May 22 Python
梅尔倒谱系数(MFCC)实现
Jun 19 Python
Python with关键字,上下文管理器,@contextmanager文件操作示例
Oct 17 Python
Python连接SQLite数据库并进行增册改查操作方法详解
Feb 18 Python
tensorflow模型文件(ckpt)转pb文件的方法(不知道输出节点名)
Apr 22 Python
基于python实现获取网页图片过程解析
May 11 Python
PyQt5实现简单的计算器
May 30 Python
Python脚本如何在bilibili中查找弹幕发送者
Jun 04 Python
python实现多进程通信实例分析
Sep 01 #Python
python输出带颜色字体实例方法
Sep 01 #Python
基于Django框架的权限组件rbac实例讲解
Aug 31 #Python
Django之PopUp的具体实现方法
Aug 31 #Python
对django layer弹窗组件的使用详解
Aug 31 #Python
python2.7实现复制大量文件及文件夹资料
Aug 31 #Python
python3实现高效的端口扫描
Aug 31 #Python
You might like
PHP开发中常用的字符串操作函数
2011/02/08 PHP
php使用Jpgraph绘制简单X-Y坐标图的方法
2015/06/10 PHP
PHP数组实例详解
2016/06/26 PHP
滚动经典最新话题[prototype框架]下编写
2006/10/03 Javascript
JS左右无缝滚动(一般方法+面向对象方法)
2012/08/17 Javascript
jquery怎样实现ajax联动框(一)
2013/03/08 Javascript
jquery取消选择select下拉框示例代码
2014/02/22 Javascript
一张表格告诉你windows.onload()与$(document).ready()的区别
2014/05/16 Javascript
js清除浏览器缓存的几种方法
2017/03/15 Javascript
JavaScript实现移动端页面按手机屏幕分辨率自动缩放的最强代码
2017/08/18 Javascript
关于Ajax的原理以及代码封装详解
2017/09/08 Javascript
Angular中支持SCSS的方法
2017/11/18 Javascript
Angular动态绑定样式及改变UI框架样式的方法小结
2018/09/03 Javascript
Vue实现一个无限加载列表功能
2018/11/13 Javascript
swiper实现异形轮播效果
2019/11/28 Javascript
Jquery如何使用animation动画效果改变背景色的代码
2020/07/20 jQuery
Nodejs 数组的队列以及forEach的应用详解
2021/02/25 NodeJs
[41:05]Serenity vs Pain 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
python删除某个字符
2018/03/19 Python
python多维数组切片方法
2018/04/13 Python
手把手教你如何安装Pycharm(详细图文教程)
2018/11/28 Python
Python matplotlib生成图片背景透明的示例代码
2019/08/30 Python
ECCO爱步美国官网:来自丹麦的鞋履品牌
2016/11/23 全球购物
Carter’s OshKosh加拿大:购买婴幼儿服装和童装
2018/11/27 全球购物
英国休闲奢华的缩影:Crew Clothing
2019/05/05 全球购物
英国网上超市:Ocado
2020/03/05 全球购物
寻找迷宫的一条出路,o通路;X:障碍
2016/07/10 面试题
新年主持词
2014/03/27 职场文书
2014客服代表实习自我鉴定
2014/09/18 职场文书
计生办班子群众路线教育实践活动个人对照检查材料思想汇报
2014/10/04 职场文书
个人欠条范本
2015/07/03 职场文书
2015年教务主任工作总结
2015/07/22 职场文书
医院中层管理人员培训心得体会
2016/01/11 职场文书
教你做个可爱的css滑动导航条
2021/06/15 HTML / CSS
十大冰系宝可梦排名,颜值最高的阿罗拉九尾,第三使用率第一
2022/03/18 日漫
详解flex:1什么意思
2022/07/23 HTML / CSS