Python全局锁中如何合理运用多线程(多进程)


Posted in Python onNovember 06, 2019

Python全局锁

(1)全局锁导致的问题

全局锁的英文简称是GIL,全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定,每个线程在执行时候都需要先获取GIL,保证同一时刻只有一个线程可以执行代码,即同一时刻只有一个线程使用CPU,也就是说多线程并不是真正意义上的同时执行。
每个CPU在同一时间只能执行一个线程(在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别,并行是指两个或者多个事件在同一时刻发生(多个CPU同时执行某个任务);而并发是指两个或多个事件在同一时间间隔内发生。)

在Python多线程下,每个线程的执行方式:

1、获取GIL

2、执行代码直到sleep或者是python虚拟机将其挂起。

3、释放GIL

可见,某个线程想要执行,必须先拿到GIL,我们可以把GIL看作是“通行证”,并且在一个python进程中,GIL只有一个。拿不到通行证的线程,就不允许进入CPU执行。

在Python2.x里,GIL的释放逻辑是当前线程遇见IO操作或者ticks计数达到100(ticks可以看作是Python自身的一个计数器,专门做用于GIL,每次释放后归零,这个计数可以通过 sys.setcheckinterval 来调整),进行释放。
而每次释放GIL锁,线程进行锁竞争、切换线程,会消耗资源。并且由于GIL锁存在,python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行),这就是为什么在多核CPU上,python的多线程效率并不高。

(2)在有全局锁的情况下如何运行多线程、多进程

在这里我们进行分类讨论:

1、CPU密集型代码(各种循环处理、计数等等),在这种情况下,由于计算工作多,ticks计数很快就会达到阈值,然后触发GIL的释放与再竞争(多个线程来回切换当然是需要消耗资源的),所以python下的多线程对CPU密集型代码并不友好,此时可以采用多进程形式实现多任务。

2、IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。所以python的多线程对IO密集型代码比较友好。

而在python3.x中,GIL不使用ticks计数,改为使用计时器(执行时间达到阈值后,当前线程释放GIL),这样对CPU密集型程序更加友好,但依然没有解决GIL导致的同一时间只能执行一个线程的问题,所以效率依然不尽如人意。

请注意:多核多线程比单核多线程更差,原因是单核下多线程,每次释放GIL,唤醒的那个线程都能获取到GIL锁,所以能够无缝执行,但多核下,CPU0释放GIL后,其他CPU上的线程都会进行竞争,但GIL可能会马上又被CPU0拿到,导致其他几个CPU上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态,这样会造成线程颠簸(thrashing),导致效率更低

回到最开始的问题:经常我们会听到老手说:“python下想要充分利用多核CPU,就用多进程”,原因是什么呢?
原因是:每个进程有各自独立的GIL,互不干扰,这样就可以真正意义上的并行执行,所以在python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)。

(3)代码实例

使用一个线程去计数

#encoing:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  start_time = time.time()
  for tid in range(2):
    t1 = threading.Thread(target=test_counter)
    t1.start()
    t1.join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

结果:

Python全局锁中如何合理运用多线程(多进程)

使用2个线程,去执行非IO操作

#encoding:utf-8
import threading
import time
def test_counter():
  i = 0
  for _ in range(100000000):
    i += 1
  return True
def main():
  thread_array = {}
  start_time = time.time()
  for tid in range(2):
    t = threading.Thread(target=test_counter)
    t.start()
    thread_array[tid] = t
  for i in range(2):
    thread_array[i].join()
  end_time = time.time()
  print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
  main()

结果:

Python全局锁中如何合理运用多线程(多进程)

通过上面的代码可以得出,对于非IO类型操作,多线程为了获得GIL去相互竞争,导致程序执行效率更低,所以我们要根据实际的业务功能情况,来确定使用多线程、多进程!

总结

以上所述是小编给大家介绍的在Python全局锁中如何合理运用多线程(多进程),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
通过python下载FTP上的文件夹的实现代码
Feb 10 Python
python将图片文件转换成base64编码的方法
Mar 14 Python
在pandas多重索引multiIndex中选定指定索引的行方法
Nov 16 Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 Python
对Django项目中的ORM映射与模糊查询的使用详解
Jul 18 Python
Python代码生成视频的缩略图的实例讲解
Dec 22 Python
python实现拼接图片
Mar 23 Python
Python socket服务常用操作代码实例
Jun 22 Python
Python Matplotlib简易教程(小白教程)
Jul 28 Python
python 发送邮件的四种方法汇总
Dec 02 Python
Python使用protobuf序列化和反序列化的实现
May 19 Python
Django框架中视图的用法
Jun 10 Python
Python实现socket非阻塞通讯功能示例
Nov 06 #Python
Python中生成一个指定长度的随机字符串实现示例
Nov 06 #Python
详解Python list和numpy array的存储和读取方法
Nov 06 #Python
python函数装饰器之带参数的函数和带参数的装饰器用法示例
Nov 06 #Python
Python list与NumPy array 区分详解
Nov 06 #Python
Django实现WebSSH操作物理机或虚拟机的方法
Nov 06 #Python
django 简单实现登录验证给你
Nov 06 #Python
You might like
PHPMailer邮件发送的实现代码
2013/05/04 PHP
PHP中HTML标签过滤技巧
2014/01/07 PHP
新浪微博OAuth认证和储存的主要过程详解
2015/03/27 PHP
php超快高效率统计大文件行数
2015/07/05 PHP
PHP+redis实现的限制抢购防止商品超发功能详解
2019/09/19 PHP
php设计模式之正面模式实例分析【星际争霸游戏案例】
2020/03/24 PHP
javascript 获取url参数和script标签中获取url参数函数代码
2010/01/22 Javascript
JS实现图片翻书效果示例代码
2013/09/09 Javascript
JavaScript也谈内存优化
2014/06/06 Javascript
容易造成JavaScript内存泄露几个方面
2014/09/04 Javascript
js使用for循环及if语句判断多个一样的name
2014/09/09 Javascript
jQuery抛物线运动实现方法(附完整demo源码下载)
2016/01/08 Javascript
浅谈jquery页面初始化的4种方式
2016/11/27 Javascript
jQuery.cookie.js实现记录最近浏览过的商品功能示例
2017/01/23 Javascript
ES6新特性之模块Module用法详解
2017/04/01 Javascript
详解JavaScript中的六种错误类型
2017/09/21 Javascript
VUE + UEditor 单图片跨域上传功能的实现方法
2018/02/08 Javascript
JS+canvas画布实现炫酷的旋转星空效果示例
2019/02/13 Javascript
React中使用UMEditor的方法示例
2019/12/27 Javascript
原生JS实现九宫格抽奖
2020/09/13 Javascript
[01:04:05]VG vs Newbee 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
python将ip地址转换成整数的方法
2015/03/17 Python
在Python中使用gRPC的方法示例
2018/08/08 Python
详解python中init方法和随机数方法
2019/03/13 Python
pyqt5之将textBrowser的内容写入txt文档的方法
2019/06/21 Python
Python 定义只读属性的实现方式
2020/03/05 Python
Flask-SocketIO服务端安装及使用代码示例
2020/11/26 Python
css 如何让背景图片拉伸填充避免重复显示
2013/07/11 HTML / CSS
挪威户外活动服装和装备购物网站:Bergfreunde挪威
2016/10/20 全球购物
全球领先美式家具品牌:Ashley爱室丽家居
2017/08/07 全球购物
上班离岗检讨书
2014/01/27 职场文书
就业表自我评价分享
2014/02/06 职场文书
信访工作经验交流材料
2014/05/23 职场文书
话题作文之呼唤
2019/12/18 职场文书
基于nginx实现上游服务器动态自动上下线无需reload的实现方法
2021/03/31 Servers
教你用python控制安卓手机
2021/05/13 Python