Python全局锁中如何合理运用多线程(多进程)


Posted in Python onNovember 06, 2019

Python全局锁

(1)全局锁导致的问题

全局锁的英文简称是GIL,全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定,每个线程在执行时候都需要先获取GIL,保证同一时刻只有一个线程可以执行代码,即同一时刻只有一个线程使用CPU,也就是说多线程并不是真正意义上的同时执行。
每个CPU在同一时间只能执行一个线程(在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别,并行是指两个或者多个事件在同一时刻发生(多个CPU同时执行某个任务);而并发是指两个或多个事件在同一时间间隔内发生。)

在Python多线程下,每个线程的执行方式:

1、获取GIL

2、执行代码直到sleep或者是python虚拟机将其挂起。

3、释放GIL

可见,某个线程想要执行,必须先拿到GIL,我们可以把GIL看作是“通行证”,并且在一个python进程中,GIL只有一个。拿不到通行证的线程,就不允许进入CPU执行。

在Python2.x里,GIL的释放逻辑是当前线程遇见IO操作或者ticks计数达到100(ticks可以看作是Python自身的一个计数器,专门做用于GIL,每次释放后归零,这个计数可以通过 sys.setcheckinterval 来调整),进行释放。
而每次释放GIL锁,线程进行锁竞争、切换线程,会消耗资源。并且由于GIL锁存在,python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行),这就是为什么在多核CPU上,python的多线程效率并不高。

(2)在有全局锁的情况下如何运行多线程、多进程

在这里我们进行分类讨论:

1、CPU密集型代码(各种循环处理、计数等等),在这种情况下,由于计算工作多,ticks计数很快就会达到阈值,然后触发GIL的释放与再竞争(多个线程来回切换当然是需要消耗资源的),所以python下的多线程对CPU密集型代码并不友好,此时可以采用多进程形式实现多任务。

2、IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。所以python的多线程对IO密集型代码比较友好。

而在python3.x中,GIL不使用ticks计数,改为使用计时器(执行时间达到阈值后,当前线程释放GIL),这样对CPU密集型程序更加友好,但依然没有解决GIL导致的同一时间只能执行一个线程的问题,所以效率依然不尽如人意。

请注意:多核多线程比单核多线程更差,原因是单核下多线程,每次释放GIL,唤醒的那个线程都能获取到GIL锁,所以能够无缝执行,但多核下,CPU0释放GIL后,其他CPU上的线程都会进行竞争,但GIL可能会马上又被CPU0拿到,导致其他几个CPU上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态,这样会造成线程颠簸(thrashing),导致效率更低

回到最开始的问题:经常我们会听到老手说:“python下想要充分利用多核CPU,就用多进程”,原因是什么呢?
原因是:每个进程有各自独立的GIL,互不干扰,这样就可以真正意义上的并行执行,所以在python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)。

(3)代码实例

使用一个线程去计数

#encoing:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  start_time = time.time()
  for tid in range(2):
    t1 = threading.Thread(target=test_counter)
    t1.start()
    t1.join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

结果:

Python全局锁中如何合理运用多线程(多进程)

使用2个线程,去执行非IO操作

#encoding:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  thread_array = {}
  start_time = time.time()
  for tid in range(2):
    t = threading.Thread(target=test_counter)
    t.start()
    thread_array[tid] = t
  for i in range(2):
    thread_array[i].join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

结果:

Python全局锁中如何合理运用多线程(多进程)

通过上面的代码可以得出,对于非IO类型操作,多线程为了获得GIL去相互竞争,导致程序执行效率更低,所以我们要根据实际的业务功能情况,来确定使用多线程、多进程!

总结

以上所述是小编给大家介绍的在Python全局锁中如何合理运用多线程(多进程),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python装饰器初探(推荐)
Jul 21 Python
Python如何实现MySQL实例初始化详解
Nov 06 Python
python 中if else 语句的作用及示例代码
Mar 05 Python
python3+PyQt5实现支持多线程的页面索引器应用程序
Apr 20 Python
浅析python3中的os.path.dirname(__file__)的使用
Aug 30 Python
浅谈pyqt5中信号与槽的认识
Feb 17 Python
python 获取毫秒数,计算调用时长的方法
Feb 20 Python
pyqt5 键盘监听按下enter 就登陆的实例
Jun 25 Python
Python 占位符的使用方法详解
Jul 10 Python
解决django服务器重启端口被占用的问题
Jul 26 Python
浅谈Python线程的同步互斥与死锁
Mar 22 Python
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
May 25 Python
Python实现socket非阻塞通讯功能示例
Nov 06 #Python
Python中生成一个指定长度的随机字符串实现示例
Nov 06 #Python
详解Python list和numpy array的存储和读取方法
Nov 06 #Python
python函数装饰器之带参数的函数和带参数的装饰器用法示例
Nov 06 #Python
Python list与NumPy array 区分详解
Nov 06 #Python
Django实现WebSSH操作物理机或虚拟机的方法
Nov 06 #Python
django 简单实现登录验证给你
Nov 06 #Python
You might like
php cli模式学习(PHP命令行模式)
2013/06/03 PHP
推荐一款MAC OS X 下php集成开发环境mamp
2014/11/08 PHP
jQuery级联操作绑定事件实例
2014/09/02 Javascript
javascript函数自动执行常用方法汇总
2016/03/28 Javascript
Vue.JS入门教程之列表渲染
2016/12/01 Javascript
使用Vue完成一个简单的todolist的方法
2017/12/01 Javascript
JavaScript实现连连看连线算法
2019/01/05 Javascript
微信小程序实现左右列表联动
2020/05/19 Javascript
深入了解query和params的使用区别
2019/06/24 Javascript
uni app仿微信顶部导航条功能
2019/09/17 Javascript
详解element-ui中表单验证的三种方式
2019/09/18 Javascript
JS document form表单元素操作完整示例
2020/01/13 Javascript
nginx部署多个vue项目的方法示例
2020/09/06 Javascript
js获取url页面id,也就是最后的数字文件名
2020/09/25 Javascript
[02:19]2014DOTA2国际邀请赛 专访820少年们一起去追梦吧
2014/07/14 DOTA
python 多线程应用介绍
2012/12/19 Python
python使用wmi模块获取windows下的系统信息 监控系统
2015/10/27 Python
python 3.6 tkinter+urllib+json实现火车车次信息查询功能
2017/12/20 Python
Python Matplotlib实现三维数据的散点图绘制
2019/03/19 Python
Python生成个性签名图片获取GUI过程解析
2019/12/16 Python
django商品分类及商品数据建模实例详解
2020/01/03 Python
Python实现随机生成任意数量车牌号
2020/01/21 Python
python with语句的原理与用法详解
2020/03/30 Python
浅谈pc和移动端的响应式的使用
2019/01/03 HTML / CSS
澳大利亚婴儿喂养品牌:Cherub Baby
2018/11/01 全球购物
世界上最全面的草药补充剂和顶级品牌维生素网站:HerbsPro
2019/01/20 全球购物
用Python写一个for循环的例子
2016/07/19 面试题
《日月潭》教学反思
2014/02/28 职场文书
马云北大演讲完整版:真心话,什么才是阿里的核心竞争力?
2014/04/04 职场文书
保密工作责任书
2014/04/16 职场文书
竞选学生会演讲稿
2014/04/25 职场文书
学期评语大全
2014/04/30 职场文书
法人授权委托书样本
2014/09/19 职场文书
实习证明格式范文
2014/10/14 职场文书
新娘婚礼答谢词
2015/09/29 职场文书
Oracle数据库中通用的函数实例详解
2022/03/25 Oracle