详解python多线程之间的同步(一)


Posted in Python onApril 03, 2019

引言:

线程之间经常需要协同工作,通过某种技术,让一个线程访问某些数据时,其它线程不能访问这些数据,直到该线程完成对数据的操作。这些技术包括临界区(Critical Section),互斥量(Mutex),信号量(Semaphore),事件Event等。

Event

 threading库中的event对象通过使用内部一个flag标记,通过flag的True或者False的变化来进行操作。

     名称                                      含义
set( ) 标记设置为True
clear( ) 标记设置为False
is_set( ) 标记是否为True
wait(timeout=None) 设置等待标记为True的时长,None为无限等待。等到返回True,等不到返回False
from threading import Thread,Event
import time

def creditor(event:Event):
 print("什么时候还我钱")
 event.wait()
 print("我已经等了很长时间了")


def debtor(event:Event,count=10):
 print("可以宽裕几天吗?")
 money=[]
 while True:
 print("先还你100")
 time.sleep(0.5)
 money.append(1)
 if len(money)>count:
  event.set()
  break
 print("我已经还完你的钱了")

event=Event()
c=Thread(target=creditor,args=(event,))
d=Thread(target=debtor,args=(event,))
c.start()
d.start()

运行结果如下所示:

详解python多线程之间的同步(一)

可以看到creditor函数中因为event.wait( )线程进入等待状态,此时debtor线程进入运行,当满足条件时event.set( )将标记设置为True,creditor线程开始运行。谁wait就是等到flag变为True,或等到超时变为False。不限制等待的个数。

wait的使用

from threading import Event,Thread


def Wait(event:Event,interval):
 while not event.wait(interval):
 print("waiting for you")

e=Event()
Thread(target=Wait,args=(e,3)).start()
e.wait(10)
e.set()
print("main exit")

详解python多线程之间的同步(一)

主线程一开始就wait 10s,Waiting线程等待3s返回False,进入循环打印"waiting for you",重复3次,然后主线程set了,这时候Waiting线程变为True,不再进入循环。

Lock

凡是存在资源争用的地方都可以使用锁,从而保证只有一个使用者可以完全使用这个资源

现在要生产10个杯子,由10个工人开始生产

import threading
import time 

cups=[]

def worker(count=10):
 print("我是{},我开始生产了".format(threading.current_thread().name))
 flag=False
 while True:
 if len(cups)>count:
  flag=True
 time.sleep(0.05)
 if not flag:
  cups.append(1)
 if flag:
  break 
 print("finished.cups={}".format(len(cups)))
 
for _ in range(10):
 threading.Thread(target=worker,args=(1000,)).start()

运行结果如下图所示:

详解python多线程之间的同步(一)

我们明明只需要到1000就会break,但是结果却到了1010个,这就是因为有10个线程,其中每个线程都在增加,但是增加后的数目,其他线程并不会知道(每个线程通过len函数拿到数量,但是刚拿到数字,其他线程就立即更新了)

这个时候我们就需要锁lock来实现了,一旦线程获得锁,其他试图获取锁的线程将被阻塞

      名称                                含义
acquire(blocking=True,timeout=-1) 默认阻塞,阻塞可以设置超时时间。非阻塞时,timeout禁止设置。成功获取锁,返回True,否则返回False
release( ) 释放锁。可以从任何线程释放。已上锁的锁,会抛出RuntimeError异常

加锁的实现:

import threading 
import time 

cups=[]
lock=threading.Lock()

def worker(count=10):
 print("我是{},我开始生产了".format(threading.current_thread().name))
 flag=False
 while True:
 lock.acquire()
 if len(cups)>=count:
  flag=True
 time.sleep(0.005)
 if not flag:
  cups.append(1)
 lock.release()
 if flag:
  break
 print("finished,cups={}".format(len(cups)))
 
for _ in range(10):
 threading.Thread(target=worker,args=(1000,)).start()

运行结果如图所示:

详解python多线程之间的同步(一)

一般来说加锁后还需要一些代码实现,在释放锁之前还有可能抛出异常,一旦出现异常,锁无法释放,但是当前这个线程会因为这个异常而终止,这样会产生死锁,因此使用时要使用如下的方法:

1,使用try...finally语句保证锁的释放

2,with安全上下文管理(锁对象支持上下文管理)

计数器类,用来加,减。

import threading
import time


class Counter:
 def __init__(self):
 self._val = 0
 self.__lock = threading.Lock()

 @property
 def value(self):
 return self._val

 def inc(self):
 try:
  self.__lock.acquire()
  self._val += 1
 finally:
  self.__lock.release()

 def dec(self):
 with self.__lock:
  self._val -= 1


def run(c: Counter, count=100):
 for _ in range(count):
 for i in range(-50, 50):
  if i < 0:
  c.dec()
  else:
  c.inc()


c = Counter()
c1 = 10
c2 = 1000


for i in range(c1):
 threading.Thread(target=run, args=(c, c2)).start()


while True:
 if threading.active_count() == 1:
 print(c.value)
 break

启动了10个线程,1000次从-50到50进行加减,最后得到0,如果没有加锁处理的话,得到的结果未必是自己想要的。

锁的使用场景:

锁适用于访问和修改同一个资源的时候,引起资源争用的情况下。使用锁的注意事项:

  1. 1,少用锁,除非有必要。多线程访问加锁的资源时,由于锁的存在,实际就变成了串行。
  2. 2,加锁时间越短越好,不需要就立即释放锁。
  3. 3,一定要避免死锁,使用with或者try...finally。

非阻塞锁使用

import threading
import time


def worker(tasks):
 for task in tasks:
 time.sleep(0.001)
 if task.lock.acquire(False):
  print("{} {} begin to start".format(threading.current_thread(),task.name))
 else:
  print("{} {} is working".format(threading.current_thread(),task.name))


class Task:
 def __init__(self,name):
 self.name=name
 self.lock=threading.Lock()

tasks=[Task('task-{}'.format(x)) for x in range(10)]

for i in range(5):
 threading.Thread(target=worker,name="worker-{}".format(i),args=(tasks,)).start()

运行结果如下图所示:

详解python多线程之间的同步(一)

总共开启了5个线程,每个线程处理10个任务,因为在if语句里面,task.lock.acquire(False),所以每个线程只有拿到锁是True,其他的线程不会阻塞会返回False。打印"is working"。

以上所述是小编给大家介绍的python多线程之间的同步详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python高阶爬虫实战分析
Jul 29 Python
Python实现购物评论文本情感分析操作【基于中文文本挖掘库snownlp】
Aug 07 Python
Python中GeoJson和bokeh-1的使用讲解
Jan 03 Python
初探利用Python进行图文识别(OCR)
Feb 26 Python
Python批量删除只保留最近几天table的代码实例
Apr 01 Python
python创建与遍历List二维列表的方法
Aug 16 Python
对python中 math模块下 atan 和 atan2的区别详解
Jan 17 Python
完美解决pycharm导入自己写的py文件爆红问题
Feb 12 Python
Python unittest生成测试报告过程解析
Sep 08 Python
基于python的matplotlib制作双Y轴图
Apr 20 Python
如何在向量化NumPy数组上进行移动窗口
May 18 Python
Python字典和列表性能之间的比较
Jun 07 Python
Python将列表数据写入文件(txt, csv,excel)
Apr 03 #Python
详解python读取image
Apr 03 #Python
Python小白必备的8个最常用的内置函数(推荐)
Apr 03 #Python
查看python安装路径及pip安装的包列表及路径
Apr 03 #Python
元组列表字典(莫烦python基础)
Apr 03 #Python
python3 字符串/列表/元组(str/list/tuple)相互转换方法及join()函数的使用
Apr 03 #Python
Python零基础入门学习之输入与输出
Apr 03 #Python
You might like
用PHP实现小写金额转换大写金额的代码(精确到分)
2012/01/10 PHP
探讨Smarty中如何获取数组的长度以及smarty调用php函数的详解
2013/06/20 PHP
Laravel实现构造函数自动依赖注入的方法
2016/03/16 PHP
PHP中加速、缓存扩展的区别和作用详解(eAccelerator、memcached、xcache、APC )
2016/07/09 PHP
py文件转exe时包含paramiko模块出错解决方法
2016/08/12 PHP
PHP  Yii清理缓存的实现方法
2016/11/10 PHP
PHP使用函数用法详解
2018/09/30 PHP
如何在PHP环境中使用ProtoBuf数据格式
2020/06/19 PHP
PHP7 弃用功能
2021/03/09 PHP
js更优雅的兼容
2010/08/12 Javascript
javascript 动态创建表格的2种方法总结
2015/03/04 Javascript
js鼠标点击图片切换效果实现代码
2015/11/19 Javascript
jQuery实现可拖拽3D万花筒旋转特效
2017/01/03 Javascript
Vue编写多地区选择组件
2017/08/21 Javascript
vue项目实战总结篇
2018/02/11 Javascript
解决低版本的浏览器不支持es6的import问题
2018/03/09 Javascript
jQuery插件Validation表单验证详解
2018/05/26 jQuery
Three.JS实现三维场景
2018/12/30 Javascript
在vue中使用G2图表的示例代码
2019/03/19 Javascript
weui上传多图片,压缩,base64编码的示例代码
2020/06/22 Javascript
vue仿携程轮播图效果(滑动轮播,下方高度自适应)
2021/02/11 Vue.js
[46:44]VG vs TNC Supermajor小组赛B组败者组决赛 BO3 第一场 6.2
2018/06/03 DOTA
python基础教程之简单入门说明(变量和控制语言使用方法)
2014/03/25 Python
利用Python绘制MySQL数据图实现数据可视化
2015/03/30 Python
python实现带错误处理功能的远程文件读取方法
2015/04/29 Python
使用python获取(宜宾市地震信息)地震信息
2019/06/20 Python
python傅里叶变换FFT绘制频谱图
2019/07/19 Python
django实现HttpResponse返回json数据为中文
2020/03/27 Python
一文解决django 2.2与mysql兼容性问题
2020/07/15 Python
HTML5中canvas中的beginPath()和closePath()的重要性
2018/08/24 HTML / CSS
法律专业应届本科毕业生求职信
2013/10/25 职场文书
2014审计局领导班子民主生活会对照检查材料思想汇报
2014/09/20 职场文书
小人国观后感
2015/06/11 职场文书
大学军训口号大全
2015/12/24 职场文书
电工生产实习心得体会
2016/01/22 职场文书
Python pyecharts绘制条形图详解
2022/04/02 Python