Python读写锁实现实现代码解析


Posted in Python onNovember 28, 2020

起步

Python 提供的多线程模型中并没有提供读写锁,读写锁相对于单纯的互斥锁,适用性更高,可以多个线程同时占用读模式的读写锁,但是只能一个线程占用写模式的读写锁。

通俗点说就是当没有写锁时,就可以加读锁且任意线程可以同时加;而写锁只能有一个线程,且必须在没有读锁时才能加上。

简单的实现

import threading

class RWlock(object):
  def __init__(self):
    self._lock = threading.Lock()
    self._extra = threading.Lock()
    self.read_num = 0

  def read_acquire(self):
    with self._extra:
      self.read_num += 1
      if self.read_num == 1:
        self._lock.acquire()

  def read_release(self):
    with self._extra:
      self.read_num -= 1
      if self.read_num == 0:
        self._lock.release()

  def write_acquire(self):
    self._lock.acquire()

  def write_release(self):
    self._lock.release()

这是读写锁的一个简单的实现,self.read_num 用来保存获得读锁的线程数,这个属性属于临界区,对其操作也要加锁,所以这里需要一个保护内部数据的额外的锁 self._extra 。

但是这个锁是不公平的。理想情况下,线程获得所的机会应该是一样的,不管线程是读操作还是写操作。而从上述代码可以看到,读请求都会立即设置 self.read_num += 1,不管有没有获得锁,而写请求想要获得锁还得等待 read_num 为 0 。

所以这个就造成了只有锁没有被占用或者没有读请求时,可以获得写权限。我们应该想办法避免读模式锁长期占用。

读写锁的优先级

读写锁也有分 读优先 和 写优先。上面的代码就属于读优先。

如果要改成写优先,那就换成去记录写线程的引用计数,读和写在同时竞争时,可以让写线程增加写的计数,这样可使读线程的读锁一直获取不到, 因为读线程要先判断写的引用计数,若不为0,则等待其为 0,然后进行读。这部分代码不罗列了。

但这样显然不够灵活。我们不需要两个相似的读写锁类。我们希望重构我们代码,使它更强大。

改进

为了能够满足自定义优先级的读写锁,要记录等待的读写线程数,并且需要两个条件 threading.Condition 用来处理哪方优先的通知。计数引用可以扩大语义:正数:表示正在读操作的线程数,负数:表示正在写操作的线程数(最多-1)

在获取读操作时,先然后判断时候有等待的写线程,没有,进行读操作,有,则等待读的计数加 1 后等待 Condition 通知;等待读的计数减 1,计数引用加 1,继续读操作,若条件不成立,循环等待;

在获取写操作时,若锁没有被占用,引用计数减 1,若被占用,等待写线程数加 1,等待写条件 Condition 的通知。

读模式和写模式的释放都是一样,需要根据判断去通知对应的 Condition:

class RWLock(object):
  def __init__(self):
    self.lock = threading.Lock()
    self.rcond = threading.Condition(self.lock)
    self.wcond = threading.Condition(self.lock)
    self.read_waiter = 0  # 等待获取读锁的线程数
    self.write_waiter = 0  # 等待获取写锁的线程数
    self.state = 0     # 正数:表示正在读操作的线程数  负数:表示正在写操作的线程数(最多-1)
    self.owners = []    # 正在操作的线程id集合
    self.write_first = True # 默认写优先,False表示读优先

  def write_acquire(self, blocking=True):
    # 获取写锁只有当
    me = threading.get_ident()
    with self.lock:
      while not self._write_acquire(me):
        if not blocking:
          return False
        self.write_waiter += 1
        self.wcond.wait()
        self.write_waiter -= 1
    return True

  def _write_acquire(self, me):
    # 获取写锁只有当锁没人占用,或者当前线程已经占用
    if self.state == 0 or (self.state < 0 and me in self.owners):
      self.state -= 1
      self.owners.append(me)
      return True
    if self.state > 0 and me in self.owners:
      raise RuntimeError('cannot recursively wrlock a rdlocked lock')
    return False

  def read_acquire(self, blocking=True):
    me = threading.get_ident()
    with self.lock:
      while not self._read_acquire(me):
        if not blocking:
          return False
        self.read_waiter += 1
        self.rcond.wait()
        self.read_waiter -= 1
    return True

  def _read_acquire(self, me):
    if self.state < 0:
      # 如果锁被写锁占用
      return False

    if not self.write_waiter:
      ok = True
    else:
      ok = me in self.owners
    if ok or not self.write_first:
      self.state += 1
      self.owners.append(me)
      return True
    return False

  def unlock(self):
    me = threading.get_ident()
    with self.lock:
      try:
        self.owners.remove(me)
      except ValueError:
        raise RuntimeError('cannot release un-acquired lock')

      if self.state > 0:
        self.state -= 1
      else:
        self.state += 1
      if not self.state:
        if self.write_waiter and self.write_first:  # 如果有写操作在等待(默认写优先)
          self.wcond.notify()
        elif self.read_waiter:
          self.rcond.notify_all()
        elif self.write_waiter:
          self.wcond.notify()

  read_release = unlock
  write_release = unlock

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
windows系统中python使用rar命令压缩多个文件夹示例
May 06 Python
用Python输出一个杨辉三角的例子
Jun 13 Python
在Python中使用SQLite的简单教程
Apr 29 Python
Python图像灰度变换及图像数组操作
Jan 27 Python
django小技巧之html模板中调用对象属性或对象的方法
Nov 30 Python
对python当中不在本路径的py文件的引用详解
Dec 15 Python
Python常用编译器原理及特点解析
Mar 23 Python
Django实现从数据库中获取到的数据转换为dict
Mar 27 Python
python 使用事件对象asyncio.Event来同步协程的操作
May 04 Python
基于python实现查询ip地址来源
Jun 02 Python
python help函数实例用法
Dec 06 Python
OpenCV-Python实现图像平滑处理操作
Jun 08 Python
python解压zip包中文乱码解决方法
Nov 27 #Python
python 实现控制鼠标键盘
Nov 27 #Python
Python模拟键盘输入自动登录TGP
Nov 27 #Python
python操作toml文件的示例代码
Nov 27 #Python
Python GUI库Tkiner使用方法代码示例
Nov 27 #Python
Python爬虫爬取有道实现翻译功能
Nov 27 #Python
python爬虫中采集中遇到的问题整理
Nov 27 #Python
You might like
上海地方志办公室-上海电子仪表工业志
2021/03/04 无线电
透析PHP的配置文件php.ini
2006/10/09 PHP
新安装的MySQL数据库需要注意的安全知识
2008/07/30 PHP
浅析PHP原理之变量分离/引用(Variables Separation)
2013/08/09 PHP
php使用CURL模拟GET与POST向微信接口提交及获取数据的方法
2016/09/23 PHP
微信公众号开发之获取位置信息php代码
2018/06/13 PHP
Laravel 6.2 中添加了可调用容器对象的方法
2019/10/22 PHP
用方法封装javascript的new操作符(一)
2010/12/25 Javascript
Jquery:ajax实现翻页无刷新功能代码
2013/08/05 Javascript
javascript按位非运算符的使用方法
2013/11/14 Javascript
js中数组(Array)的排序(sort)注意事项说明
2014/01/24 Javascript
JS删除字符串中重复字符方法
2014/03/09 Javascript
js如何判断访问是来自搜索引擎(蜘蛛人)还是直接访问
2015/09/14 Javascript
使用jQuery制作Web页面遮罩层插件的实例教程
2016/05/26 Javascript
浅谈JS正则表达式的RegExp对象和括号的使用
2016/07/28 Javascript
vue、react等单页面项目应该这样子部署到服务器
2018/01/03 Javascript
vuex的简单使用教程
2018/02/02 Javascript
深入理解ES6中let和闭包
2018/02/22 Javascript
vue框架搭建之axios使用教程
2018/07/11 Javascript
Element-UI中关于table表格的那些骚操作(小结)
2019/08/15 Javascript
详解vue 中 scoped 样式作用域的规则
2020/09/14 Javascript
Javascript实现打鼓效果
2021/01/29 Javascript
[03:27]《辉夜杯》线下训练营 导师CU和海涛指点迷津
2015/10/23 DOTA
Python中super()函数简介及用法分享
2016/07/11 Python
Python查找第n个子串的技巧分享
2018/06/27 Python
django之自定义软删除Model的方法
2019/08/14 Python
基于python3抓取pinpoint应用信息入库
2020/01/08 Python
详解Python中string模块除去Str还剩下什么
2020/11/30 Python
Python中过滤字符串列表的方法
2020/12/22 Python
HTML5通用接口详解
2016/06/12 HTML / CSS
DERMAdoctor官网:美国著名皮肤护理品牌
2019/07/06 全球购物
荷兰浴室和卫浴网上商店:Badkamerxxl.nl
2020/10/06 全球购物
人事行政部各岗位职责说明书!
2019/07/15 职场文书
解决Nginx 配置 proxy_pass 后 返回404问题
2021/03/31 Servers
死磕 java同步系列之synchronized解析
2021/06/28 Java/Android
浅谈Redis跟MySQL的双写问题解决方案
2022/02/24 Redis