详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案


Posted in Python onJanuary 29, 2021

先看一道GIL面试题:

描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。

GIL:又叫全局解释器锁,每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程在运行,目的是解决多线程同时竞争程序中的全局变量而出现的线程安全问题。它并不是python语言的特性,仅仅是由于历史的原因在CPython解释器中难以移除,因为python语言运行环境大部分默认在CPython解释器中。

通过一个案例了解单线程和多线程的cpu占用率:

打开Ubuntu终端命令:输入htop,回车,红色箭头指向的2代表此时我的虚拟机中CPU有两个核心数

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

下面通过一个案例了解单线程死循环和多线程死循环的CPU占用率:

单线程死循环.py: 

#coding=utf-8
while True:
  pass

运行该程序,出现以下界面:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

此时新开一个窗口,输入htop,查看CPU占用率,其中一个CPU占用率几乎为100%:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

两个线程死循环.py

#coding=utf-8
import threading
 
#子线程死循环
def test():
  while True:
    pass
 
t1=threading.Thread(target=test)
t1.start()
 
#主线程死循环,
while True:
  pass

此时新开一个终端,输入htop查看CPU占用率,可以看到两个CPU任何一个并没有全部占满,而是交替执行的:

详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

 这也就验证了多线程下每个线程在执行的过程中都需要先获取GIL,保证同一时刻只有一个线程在运行。

由于GIL的存在,即使是多线程,事实上同一时刻只能保证一个线程在运行,既然这样多线程的运行效率不就和单线程一样了吗,那为什么还要使用多线程呢?

由于以前的电脑基本都是单核CPU,多线程和单线程几乎看不出差别,可是由于计算机的迅速发展,现在的电脑几乎都是多核CPU了,最少也是两个核心数的,这时差别就出来了:通过之前的案例我们已经知道,即使在多核CPU中,多线程同一时刻也只有一个线程在运行,这样不仅不能利用多核CPU的优势,反而由于每个线程在多个CPU上是交替执行的,导致在不同CPU上切换时造成资源的浪费,反而会更慢。即原因是一个进程只存在一把gil锁,当在执行多个线程时,内部会争抢gil锁,这会造成当某一个线程没有抢到锁的时候会让cpu等待,进而不能合理利用多核cpu资源。

例如在使用多线程抓取网页内容时,遇到IO阻塞时,正在执行的线程会暂时释放GIL锁,这时其它线程会利用这个空隙时间,执行自己的代码,因此多线程抓取比单线程抓取性能要好。

说到在这里要先介绍两个概念:计算密集型和IO密集型

计算密集型:要进行大量的数值计算,例如进行上亿的数字计算、计算圆周率、对视频进行高清解码等等。这种计算密集型任务虽然也可以用多任务完成,但是花费的主要时间在任务切换的时间,此时CPU执行任务的效率比较低。

IO密集型:涉及到网络请求(time.sleep())、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。

解决GIL问题的方案:

1.使用其它语言,例如C,Java

2.使用其它解释器,如java的解释器jython

3.使用多进程

线程释放GIL锁的情况:

1.在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL。

2.Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100。

GIL面试题参考答案:

  • Python语言和GIL没有什么关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。
  • GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。
  • 线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数达到100。
  • Python使用多进程是可以利用多核的CPU资源的。
  • 多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁。

到此这篇关于详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案的文章就介绍到这了,更多相关Python GIL全局解释器锁内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python用ConfigObj读写配置文件的实现代码
Mar 04 Python
python发腾讯微博代码分享
Jan 10 Python
详解Python进程间通信之命名管道
Aug 28 Python
python连接数据库的方法
Oct 19 Python
python如何将图片转换为字符图片
Aug 19 Python
钉钉群自定义机器人消息Python封装的实例
Feb 20 Python
django框架ModelForm组件用法详解
Dec 11 Python
python实现门限回归方式
Feb 29 Python
文件上传服务器-jupyter 中python解压及压缩方式
Apr 22 Python
Python使用socket模块实现简单tcp通信
Aug 18 Python
python 调整图片亮度的示例
Dec 03 Python
Python超详细分步解析随机漫步
Mar 17 Python
Python爬虫获取op.gg英雄联盟英雄对位胜率的源码
Jan 29 #Python
python中spy++的使用超详细教程
Jan 29 #Python
Python Selenium破解滑块验证码最新版(GEETEST95%以上通过率)
Jan 29 #Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
Jan 29 #Python
如何用python开发Zeroc Ice应用
Jan 29 #Python
详解Pymongo常用查询方法总结
Jan 29 #Python
Python3使用tesserocr识别字母数字验证码的实现
Jan 29 #Python
You might like
PHP常用函数小技巧
2008/09/11 PHP
php命名空间学习详解
2014/02/27 PHP
php获取POST数据的三种方法实例详解
2016/12/20 PHP
PHP7 windows支持
2021/03/09 PHP
jquery 合并内容相同的单元格(示例代码)
2013/12/13 Javascript
用javascript读取xml文件读取节点数据
2014/08/12 Javascript
JavaScript数组常用方法
2015/03/02 Javascript
JavaScript高级教程5.6之基本包装类型(详细)
2015/11/23 Javascript
详解JavaScript中|单竖杠运算符的使用方法
2016/05/23 Javascript
深入理解jQuery之防止冒泡事件
2016/05/24 Javascript
基于jQuery实现弹幕APP
2017/02/10 Javascript
nodejs搭建本地http服务器教程
2017/03/13 NodeJs
AngularJS实现注册表单验证功能
2017/10/16 Javascript
React Native AsyncStorage本地存储工具类
2017/10/24 Javascript
nodejs async异步常用函数总结(推荐)
2017/11/17 NodeJs
jQuery幻灯片插件owlcarousel参数说明中文文档
2018/02/27 jQuery
JQuery实现ajax请求的示例和注意事项
2018/12/10 jQuery
使用Easyui实现查询条件的后端传递并自动刷新表格的两种方法
2019/09/09 Javascript
vue中使用elementUI组件手动上传图片功能
2019/12/13 Javascript
微信小程序实现底部弹出模态框
2020/11/18 Javascript
Python多维/嵌套字典数据无限遍历的实现
2016/11/04 Python
Windows下的Python 3.6.1的下载与安装图文详解(适合32位和64位)
2018/02/21 Python
Python实现的服务器示例小结【单进程、多进程、多线程、非阻塞式】
2019/05/23 Python
基于python实现把图片转换成素描
2019/11/13 Python
python去除删除数据中\u0000\u0001等unicode字符串的代码
2020/03/06 Python
JAVA SWT事件四种写法实例解析
2020/06/05 Python
在Ubuntu中安装并配置Pycharm教程的实现方法
2021/01/06 Python
Django中template for如何使用方法
2021/01/31 Python
会计实习自我鉴定
2013/12/04 职场文书
高职教师岗位职责
2013/12/24 职场文书
城建学院毕业生自荐信
2014/01/31 职场文书
《兰亭集序》教学反思
2014/02/11 职场文书
2014年迎新年联欢会活动策划方案
2014/02/26 职场文书
关于艺术节的开幕致辞
2016/03/04 职场文书
yyds什么意思?90后已经听不懂00后讲话了……
2022/02/03 杂记
分享几个简单MySQL优化小妙招
2022/03/31 MySQL