Python多线程同步Lock、RLock、Semaphore、Event实例


Posted in Python onNovember 21, 2014

一、多线程同步

由于CPython的python解释器在单线程模式下执行,所以导致python的多线程在很多的时候并不能很好地发挥多核cpu的资源。大部分情况都推荐使用多进程。

python的多线程的同步与其他语言基本相同,主要包含:

Lock & RLock :用来确保多线程多共享资源的访问。
Semaphore : 用来确保一定资源多线程访问时的上限,例如资源池。 
Event : 是最简单的线程间通信的方式,一个线程可以发送信号,其他的线程接收到信号后执行操作。 

二、实例

1)Lock & RLock

Lock对象的状态可以为locked和unlocked

使用acquire()设置为locked状态;
使用release()设置为unlocked状态。

如果当前的状态为unlocked,则acquire()会将状态改为locked然后立即返回。当状态为locked的时候,acquire()将被阻塞直到另一个线程中调用release()来将状态改为unlocked,然后acquire()才可以再次将状态置为locked。

Lock.acquire(blocking=True, timeout=-1),blocking参数表示是否阻塞当前线程等待,timeout表示阻塞时的等待时间 。如果成功地获得lock,则acquire()函数返回True,否则返回False,timeout超时时如果还没有获得lock仍然返回False。

实例:(确保只有一个线程可以访问共享资源)

import threading

import time

 

num = 0

lock = threading.Lock()

 

def func(st):

    global num

    print (threading.currentThread().getName() + ' try to acquire the lock')

    if lock.acquire():

        print (threading.currentThread().getName() + ' acquire the lock.' )

        print (threading.currentThread().getName() +" :%s" % str(num) )

        num += 1

        time.sleep(st)

        print (threading.currentThread().getName() + ' release the lock.'  )        

        lock.release()

 

t1 = threading.Thread(target=func, args=(8,))

t2 = threading.Thread(target=func, args=(4,))

t3 = threading.Thread(target=func, args=(2,))

t1.start()

t2.start()

t3.start()

结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

RLock与Lock的区别是:RLock中除了状态locked和unlocked外还记录了当前lock的owner和递归层数,使得RLock可以被同一个线程多次acquire()。

2)Semaphore

Semaphore管理一个内置的计数器,
每当调用acquire()时内置计数器-1;
调用release() 时内置计数器+1;
计数器不能小于0;当计数器为0时,acquire()将阻塞线程直到其他线程调用release()。

实例:(同时只有2个线程可以获得semaphore,即可以限制最大连接数为2):

import threading

import time
semaphore = threading.Semaphore(2)

 

def func():

    if semaphore.acquire():

        for i in range(5):

          print (threading.currentThread().getName() + ' get semaphore')

        semaphore.release()

        print (threading.currentThread().getName() + ' release semaphore')

        

        

for i in range(4):

  t1 = threading.Thread(target=func)

  t1.start()

结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

3) Event

Event内部包含了一个标志位,初始的时候为false。
可以使用使用set()来将其设置为true;
或者使用clear()将其从新设置为false;
可以使用is_set()来检查标志位的状态;
另一个最重要的函数就是wait(timeout=None),用来阻塞当前线程,直到event的内部标志位被设置为true或者timeout超时。如果内部标志位为true则wait()函数理解返回。

实例: (线程间相互通信)

import logging

import threading

import time
logging.basicConfig(level=logging.DEBUG,

format="(%(threadName)-10s : %(message)s",

)
def wait_for_event_timeout(e, t):

    """Wait t seconds and then timeout"""

    while not e.isSet():

      logging.debug("wait_for_event_timeout starting")

      event_is_set = e.wait(t)

      logging.debug("event set: %s" % event_is_set)

    if event_is_set:

      logging.debug("processing event")

    else:

      logging.debug("doing other work")

      

e = threading.Event()

t2 = threading.Thread(name="nonblock",

target=wait_for_event_timeout,args=(e, 2))

t2.start()

logging.debug("Waiting before calling Event.set()")

time.sleep(7)

e.set()

logging.debug("Event is set")

运行结果:

Python多线程同步Lock、RLock、Semaphore、Event实例

三、其他

1) 线程局部变量

线程局部变量的值是跟线程相关的,区别与全局的变量。使用非常简单如下:

mydata = threading.local()

mydata.x = 1

2)对Lock,semaphore,condition等使用with关键字代替手动调用acquire()和release()。

Python 相关文章推荐
python 切片和range()用法说明
Mar 24 Python
Python中字典创建、遍历、添加等实用操作技巧合集
Jun 02 Python
python定时器(Timer)用法简单实例
Jun 04 Python
Python的re模块正则表达式操作
May 25 Python
20个常用Python运维库和模块
Feb 12 Python
python中matplotlib的颜色及线条控制的示例
Mar 16 Python
Flask框架web开发之零基础入门
Dec 10 Python
python opencv实现信用卡的数字识别
Jan 12 Python
浅谈keras 的抽象后端(from keras import backend as K)
Jun 16 Python
Python Selenium实现无可视化界面过程解析
Aug 25 Python
Python 下载Bing壁纸的示例
Sep 29 Python
python基于OpenCV模板匹配识别图片中的数字
Mar 31 Python
python多进程操作实例
Nov 21 #Python
Python多进程通信Queue、Pipe、Value、Array实例
Nov 21 #Python
Python多进程同步Lock、Semaphore、Event实例
Nov 21 #Python
Python multiprocessing.Manager介绍和实例(进程间共享数据)
Nov 21 #Python
Python pickle类库介绍(对象序列化和反序列化)
Nov 21 #Python
Python和perl实现批量对目录下电子书文件重命名的代码分享
Nov 21 #Python
Python实现的下载8000首儿歌的代码分享
Nov 21 #Python
You might like
ThinkPHP中html:list标签用法分析
2016/01/09 PHP
深入理解PHP中的empty和isset函数
2016/05/26 PHP
PHP批量获取网页中所有固定种子链接的方法
2016/11/18 PHP
php 根据自增id创建唯一编号类
2017/04/06 PHP
php分页查询mysql结果的base64处理方法示例
2017/05/18 PHP
TP5框架实现自定义分页样式的方法示例
2020/04/05 PHP
jQuery解决iframe高度自适应代码
2009/12/20 Javascript
判断输入是否为空,获得输入类型的JS代码
2013/10/30 Javascript
js与jquery获取父级元素,子级元素,兄弟元素的实现方法
2014/01/09 Javascript
jQuery实现的原图对比窗帘效果
2014/06/15 Javascript
Jquery基础教程之DOM操作
2015/08/19 Javascript
JS中判断null的方法分析
2016/11/21 Javascript
Require.JS中的几种define定义方式示例
2017/06/01 Javascript
Node.js五大应用性能技巧小结(必须收藏)
2017/08/09 Javascript
react实现一个优雅的图片占位模块组件详解
2017/10/30 Javascript
jQuery实现为动态添加的元素绑定事件实例分析
2018/09/07 jQuery
JavaScript使用ul中li标签实现删除效果
2019/04/15 Javascript
详解Vue的七种传值方式
2021/02/08 Vue.js
[41:17]完美世界DOTA2联赛PWL S3 access vs CPG 第二场 12.13
2020/12/17 DOTA
python select.select模块通信全过程解析
2017/09/20 Python
python微信公众号之关键词自动回复
2018/06/15 Python
Python3获取拉勾网招聘信息的方法实例
2019/04/03 Python
详解python爬虫系列之初识爬虫
2019/04/06 Python
Django学习笔记之为Model添加Action
2019/04/30 Python
wxPython绘图模块wxPyPlot实现数据可视化
2019/11/19 Python
tensorflow2.0与tensorflow1.0的性能区别介绍
2020/02/07 Python
在脚本中单独使用django的ORM模型详解
2020/04/01 Python
python 对一幅灰度图像进行直方图均衡化
2020/10/27 Python
pycharm 复制代码出现空格的解决方式
2021/01/15 Python
HTML5 创建canvas元素示例代码
2014/06/04 HTML / CSS
美团网旗下网上订餐平台:美团外卖
2020/03/05 全球购物
物流管理专业自荐信
2014/06/23 职场文书
植树节标语
2014/06/27 职场文书
医院病假条范文
2015/08/17 职场文书
Python Pandas 删除列操作
2022/03/16 Python
Python基本的内置数据类型及使用方法
2022/04/13 Python