Python多线程同步Lock、RLock、Semaphore、Event实例


Posted in Python onNovember 21, 2014

一、多线程同步

由于CPython的python解释器在单线程模式下执行,所以导致python的多线程在很多的时候并不能很好地发挥多核cpu的资源。大部分情况都推荐使用多进程。

python的多线程的同步与其他语言基本相同,主要包含:

Lock & RLock :用来确保多线程多共享资源的访问。
Semaphore : 用来确保一定资源多线程访问时的上限,例如资源池。 
Event : 是最简单的线程间通信的方式,一个线程可以发送信号,其他的线程接收到信号后执行操作。 

二、实例

1)Lock & RLock

Lock对象的状态可以为locked和unlocked

使用acquire()设置为locked状态;
使用release()设置为unlocked状态。

如果当前的状态为unlocked,则acquire()会将状态改为locked然后立即返回。当状态为locked的时候,acquire()将被阻塞直到另一个线程中调用release()来将状态改为unlocked,然后acquire()才可以再次将状态置为locked。

Lock.acquire(blocking=True, timeout=-1),blocking参数表示是否阻塞当前线程等待,timeout表示阻塞时的等待时间 。如果成功地获得lock,则acquire()函数返回True,否则返回False,timeout超时时如果还没有获得lock仍然返回False。

实例:(确保只有一个线程可以访问共享资源)

import threading

import time

 

num = 0

lock = threading.Lock()

 

def func(st):

    global num

    print (threading.currentThread().getName() + ' try to acquire the lock')

    if lock.acquire():

        print (threading.currentThread().getName() + ' acquire the lock.' )

        print (threading.currentThread().getName() +" :%s" % str(num) )

        num += 1

        time.sleep(st)

        print (threading.currentThread().getName() + ' release the lock.'  )        

        lock.release()

 

t1 = threading.Thread(target=func, args=(8,))

t2 = threading.Thread(target=func, args=(4,))

t3 = threading.Thread(target=func, args=(2,))

t1.start()

t2.start()

t3.start()

结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

RLock与Lock的区别是:RLock中除了状态locked和unlocked外还记录了当前lock的owner和递归层数,使得RLock可以被同一个线程多次acquire()。

2)Semaphore

Semaphore管理一个内置的计数器,
每当调用acquire()时内置计数器-1;
调用release() 时内置计数器+1;
计数器不能小于0;当计数器为0时,acquire()将阻塞线程直到其他线程调用release()。

实例:(同时只有2个线程可以获得semaphore,即可以限制最大连接数为2):

import threading

import time
semaphore = threading.Semaphore(2)

 

def func():

    if semaphore.acquire():

        for i in range(5):

          print (threading.currentThread().getName() + ' get semaphore')

        semaphore.release()

        print (threading.currentThread().getName() + ' release semaphore')

        

        

for i in range(4):

  t1 = threading.Thread(target=func)

  t1.start()

结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

3) Event

Event内部包含了一个标志位,初始的时候为false。
可以使用使用set()来将其设置为true;
或者使用clear()将其从新设置为false;
可以使用is_set()来检查标志位的状态;
另一个最重要的函数就是wait(timeout=None),用来阻塞当前线程,直到event的内部标志位被设置为true或者timeout超时。如果内部标志位为true则wait()函数理解返回。

实例: (线程间相互通信)

import logging

import threading

import time
logging.basicConfig(level=logging.DEBUG,

format="(%(threadName)-10s : %(message)s",

)
def wait_for_event_timeout(e, t):

    """Wait t seconds and then timeout"""

    while not e.isSet():

      logging.debug("wait_for_event_timeout starting")

      event_is_set = e.wait(t)

      logging.debug("event set: %s" % event_is_set)

    if event_is_set:

      logging.debug("processing event")

    else:

      logging.debug("doing other work")

      

e = threading.Event()

t2 = threading.Thread(name="nonblock",

target=wait_for_event_timeout,args=(e, 2))

t2.start()

logging.debug("Waiting before calling Event.set()")

time.sleep(7)

e.set()

logging.debug("Event is set")

运行结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

三、其他

1) 线程局部变量

线程局部变量的值是跟线程相关的,区别与全局的变量。使用非常简单如下:

mydata = threading.local()

mydata.x = 1

2)对Lock,semaphore,condition等使用with关键字代替手动调用acquire()和release()。

Python 相关文章推荐
Python下singleton模式的实现方法
Jul 16 Python
利用Python实现颜色色值转换的小工具
Oct 27 Python
python文件特定行插入和替换实例详解
Jul 12 Python
Python实现矩阵转置的方法分析
Nov 24 Python
python中set()函数简介及实例解析
Jan 09 Python
python matlibplot绘制多条曲线图
Feb 19 Python
Python判断对象是否为文件对象(file object)的三种方法示例
Apr 26 Python
Python基础学习之基本数据结构详解【数字、字符串、列表、元组、集合、字典】
Jun 18 Python
softmax及python实现过程解析
Sep 30 Python
解决pytorch-yolov3 train 报错的问题
Feb 18 Python
python语言是免费还是收费的?
Jun 15 Python
python自动化测试通过日志3分钟定位bug
Nov 20 Python
python多进程操作实例
Nov 21 #Python
Python多进程通信Queue、Pipe、Value、Array实例
Nov 21 #Python
Python多进程同步Lock、Semaphore、Event实例
Nov 21 #Python
Python multiprocessing.Manager介绍和实例(进程间共享数据)
Nov 21 #Python
Python pickle类库介绍(对象序列化和反序列化)
Nov 21 #Python
Python和perl实现批量对目录下电子书文件重命名的代码分享
Nov 21 #Python
Python实现的下载8000首儿歌的代码分享
Nov 21 #Python
You might like
PHP 数组遍历顺序理解
2009/09/09 PHP
Ajax+PHP 边学边练 之二 实例
2009/11/24 PHP
php类常量用法实例分析
2015/07/09 PHP
thinkPHP3.1验证码的简单实现方法
2016/04/22 PHP
PHP如何实现阿里云短信sdk灵活应用在项目中的方法
2019/06/14 PHP
PHP开发API接口签名生成及验证操作示例
2020/05/27 PHP
[原创]后缀就扩展名为js的文件是什么文件
2007/12/06 Javascript
JavaScript中的Window窗口对象
2008/01/16 Javascript
Discuz! 6.1_jQuery兼容问题
2008/09/23 Javascript
判断ie的两种简单方法
2013/08/12 Javascript
在for循环中length值是否需要缓存
2015/07/27 Javascript
纯JS实现本地图片预览的方法
2015/07/31 Javascript
JavaScript性能优化总结之加载与执行
2016/08/11 Javascript
AngularJs中Bootstrap3 datetimepicker使用实例
2016/12/13 Javascript
Bootstrap源码解读导航(6)
2016/12/23 Javascript
Vue2.0中集成UEditor富文本编辑器的方法
2018/03/03 Javascript
利用chrome浏览器进行js调试并找出元素绑定的点击事件详解
2021/01/30 Javascript
解决vue单页面应用中动态修改title问题
2019/06/09 Javascript
Angular8路由守卫原理和使用方法
2019/08/29 Javascript
Javascript原生ajax请求代码实例
2020/02/20 Javascript
如何在Express4.x中愉快地使用async的方法
2020/11/18 Javascript
[55:02]2014 DOTA2国际邀请赛中国区预选赛 HGT VS Orenda
2014/05/21 DOTA
[01:01:52]DOTA2-DPC中国联赛正赛 iG vs LBZS BO3 第一场 3月4日
2021/03/11 DOTA
python实现的一个火车票转让信息采集器
2014/07/09 Python
Python2.x中str与unicode相关问题的解决方法
2015/03/30 Python
MySQL最常见的操作语句小结
2015/05/07 Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
2019/07/06 Python
Python性能分析工具Profile使用实例
2019/11/19 Python
Pytorch之保存读取模型实例
2019/12/30 Python
芬兰灯具网上商店:Nettilamppu.fi
2018/06/30 全球购物
考试作弊检讨书怎么写?
2014/12/21 职场文书
财务稽核岗位职责
2015/04/13 职场文书
老人院义工活动感想
2015/08/07 职场文书
先进教师个人主要事迹材料
2015/11/03 职场文书
WordPress多语言翻译插件 - WPML使用教程
2021/04/01 PHP
Win10加载疑难解答时出错发生意外错误的解决方法
2022/07/07 数码科技