详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案


Posted in Python onJanuary 29, 2021

先看一道GIL面试题:

描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。

GIL:又叫全局解释器锁,每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程在运行,目的是解决多线程同时竞争程序中的全局变量而出现的线程安全问题。它并不是python语言的特性,仅仅是由于历史的原因在CPython解释器中难以移除,因为python语言运行环境大部分默认在CPython解释器中。

通过一个案例了解单线程和多线程的cpu占用率:

打开Ubuntu终端命令:输入htop,回车,红色箭头指向的2代表此时我的虚拟机中CPU有两个核心数

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

下面通过一个案例了解单线程死循环和多线程死循环的CPU占用率:

单线程死循环.py: 

#coding=utf-8
while True:
  pass

运行该程序,出现以下界面:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

此时新开一个窗口,输入htop,查看CPU占用率,其中一个CPU占用率几乎为100%:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

两个线程死循环.py

#coding=utf-8
import threading
 
#子线程死循环
def test():
  while True:
    pass
 
t1=threading.Thread(target=test)
t1.start()
 
#主线程死循环,
while True:
  pass

此时新开一个终端,输入htop查看CPU占用率,可以看到两个CPU任何一个并没有全部占满,而是交替执行的:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

 这也就验证了多线程下每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程在运行。

由于GIL的存在,即使是多线程,事实上同一时刻只能保证一个线程在运行,既然这样多线程的运行效率不就和单线程一样了吗,那为什么还要使用多线程呢?

由于以前的电脑基本都是单核CPU,多线程和单线程几乎看不出差别,可是由于计算机的迅速发展,现在的电脑几乎都是多核CPU了,最少也是两个核心数的,这时差别就出来了:通过之前的案例我们已经知道,即使在多核CPU中,多线程同一时刻也只有一个线程在运行,这样不仅不能利用多核CPU的优势,反而由于每个线程在多个CPU上是交替执行的,导致在不同CPU上切换时造成资源的浪费,反而会更慢。即原因是一个进程只存在一把gil锁,当在执行多个线程时,内部会争抢gil锁,这会造成当某一个线程没有抢到锁的时候会让cpu等待,进而不能合理利用多核cpu资源。

例如在使用多线程抓取网页内容时,遇到IO阻塞时,正在执行的线程会暂时释放GIL锁,这时其它线程会利用这个空隙时间,执行自己的代码,因此多线程抓取比单线程抓取性能要好。

说到在这里要先介绍两个概念:计算密集型和IO密集型

计算密集型:要进行大量的数值计算,例如进行上亿的数字计算、计算圆周率、对视频进行高清解码等等。这种计算密集型任务虽然也可以用多任务完成,但是花费的主要时间在任务切换的时间,此时CPU执行任务的效率比较低。

IO密集型:涉及到网络请求(time.sleep())、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。

解决GIL问题的方案:

1.使用其它语言,例如C,Java

2.使用其它解释器,如java的解释器jython

3.使用多进程

线程释放GIL锁的情况:

1.在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL。

2.Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100。

GIL面试题参考答案:

  • Python语言和GIL没有什么关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。
  • GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。
  • 线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100。
  • Python使用多进程是可以利用多核的CPU资源的。
  • 多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁。

到此这篇关于详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案的文章就介绍到这了,更多相关Python GIL全局解释器锁内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
编写简单的Python程序来判断文本的语种
Apr 07 Python
举例讲解Python程序与系统shell交互的方式
Apr 09 Python
Fiddler如何抓取手机APP数据包
Jan 22 Python
Python中循环后使用list.append()数据被覆盖问题的解决
Jul 01 Python
python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)
Apr 01 Python
python函数与方法的区别总结
Jun 23 Python
Python队列、进程间通信、线程案例
Oct 25 Python
如何通过python实现全排列
Feb 11 Python
python 使用递归的方式实现语义图片分割功能
Jul 16 Python
pycharm进入时每次都是insert模式的解决方式
Feb 05 Python
Python实现socket库网络通信套接字
Jun 04 Python
python playwrigh框架入门安装使用
Jul 23 Python
Python爬虫获取op.gg英雄联盟英雄对位胜率的源码
Jan 29 #Python
python中spy++的使用超详细教程
Jan 29 #Python
Python Selenium破解滑块验证码最新版(GEETEST95%以上通过率)
Jan 29 #Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
Jan 29 #Python
如何用python开发Zeroc Ice应用
Jan 29 #Python
详解Pymongo常用查询方法总结
Jan 29 #Python
Python3使用tesserocr识别字母数字验证码的实现
Jan 29 #Python
You might like
Syphon 使用方法
2021/03/03 冲泡冲煮
ThinkPHP采用原生query实现关联查询left join实例
2014/12/02 PHP
PHP实现会员账号单唯一登录的方法分析
2019/03/07 PHP
laravel框架路由分组,中间件,命名空间,子域名,路由前缀实例分析
2020/02/18 PHP
如何用javascript去掉字符串里的所有空格
2007/02/08 Javascript
捕获浏览器关闭、刷新事件不同情况下的处理方法
2013/06/02 Javascript
JavaScript实现网页对象拖放功能的方法
2015/04/15 Javascript
js实现登陆遮罩效果的方法
2015/07/28 Javascript
jQuery simplePage+AJAX plus分页插件用法实例
2016/02/17 Javascript
JQuery遍历元素的后代和同胞实现方法
2016/09/18 Javascript
jquery封装插件时匿名函数形参和实参的写法解释
2017/02/14 Javascript
React/Redux应用使用Async/Await的方法
2017/11/16 Javascript
小程序开发基础之view视图容器
2018/08/21 Javascript
vue 监听某个div垂直滚动条下拉到底部的方法
2018/09/15 Javascript
vue中axios的二次封装实例讲解
2019/10/14 Javascript
24个ES6方法解决JS实际开发问题(小结)
2020/05/31 Javascript
js实现滑动进度条效果
2020/08/21 Javascript
python实现电子词典
2020/04/23 Python
python目录操作之python遍历文件夹后将结果存储为xml
2014/01/27 Python
利用Python获取操作系统信息实例
2016/09/02 Python
Python实现解析Bit Torrent种子文件内容的方法
2017/08/29 Python
python装饰器实例大详解
2017/10/25 Python
修改默认的pip版本为对应python2.7的方法
2018/11/06 Python
Pandas:Series和DataFrame删除指定轴上数据的方法
2018/11/10 Python
python简单区块链模拟详解
2019/07/03 Python
Python 实现打印单词的菱形字符图案
2020/04/12 Python
python 制作python包,封装成可用模块教程
2020/07/13 Python
matplotlib基础绘图命令之bar的使用方法
2020/08/13 Python
俄罗斯护发和专业化妆品购物网站:Hihair
2019/09/28 全球购物
如何用JQuery进行表单验证
2013/05/29 面试题
优秀教师先进事迹
2014/01/22 职场文书
办公室秘书岗位职责范本
2014/02/11 职场文书
投资申请报告
2015/05/19 职场文书
情况说明书怎么写
2015/10/08 职场文书
Windows下redis下载、redis安装及使用教程
2021/06/02 Redis
聊一聊Redis与MySQL双写一致性如何保证
2021/06/26 Redis