线程安全及Python中的GIL原理分析


Posted in Python onOctober 29, 2019

本文讲述了线程安全及Python中的GIL。分享给大家供大家参考,具体如下:

摘要

什么是线程安全? 为什么python会使用GIL的机制?

在多核时代的到来的背景下,基于多线程来充分利用硬件的编程方法也不断发展起来, 但是一旦 牵扯到多线程,就必然会涉及到一个概念,即 线程安全, 本文就主要谈下笔者对线程安全的一些理解.

而Python为很多人所抱怨的一点就是GIL,那么python为什么选择使用GIL, 本文也就这个问题进行一些讨论.

引入

你的PC或者笔记本还是单核吗? 如果是,那你已经out了.

随着纳米技术的不断进步, 计算机芯片的工艺也在进步,但是已经很难在工艺上的改进来提高 运算速度而满足 摩尔定理, 所以intel, amd相继在采用横向的扩展即增加更多的CPU, 从而双核, 4核, N核不断推出,于是我们进入了多核时代.

于是一个问题出现了, 多核时代的出现对于我们程序员而言意味着什么, 我们如何利用多核的优势?

在回答这个问题之前,建议对 进程 和 线程 不熟悉的读者可以先补下相关的知识.

当然方案是,可以采用 多进程, 也可以采用 多线程. 二者的最大区别就是, 是否共享资源, 后者是共享资源的,而前者是独立的. 所以你也可能想起了google chrome为什么又开始使用独立的进程 来作为每个tab服务了(不共享数据,意味着有更好的安全性).

相对于进程的轻型特征,多线程环境有个最大的问题就是 如何保证资源竞争,死锁, 数据修改等.

于是,便有了 线程安全 (thread safety)的提出.

线程安全

Thread safety is a computer programming concept applicable in the context of multi-threaded programs.
A piece of code is thread-safe if it functions correctly during simultaneous execution by multiple threads.
In particular, it must satisfy the need for multiple threads to access the same shared data,
and the need for a shared piece of data to be accessed by only one thread at any given time.

上面是wikipedia中的解释, 换句话说, 线程安全 是在多线程的环境下, 线程安全能够保证多个线程同时执行时程序依旧运行正确, 而且要保证对于共享的数据,可以由多个线程存取,但是同一时刻只能有一个线程进行存取.

既然,多线程环境下必须存在资源的竞争,那么如何才能保证同一时刻只有一个线程对共享资源进行存取?

加锁, 对, 加锁可以保证存取操作的唯一性, 从而保证同一时刻只有一个线程对共享数据存取.

通常加锁也有2种不同的粒度的锁:

  • fine-grained(所谓的细粒度), 那么程序员需要自行地加,解锁来保证线程安全
  • coarse-grained(所谓的粗粒度), 那么语言层面本身维护着一个全局的锁机制,用来保证线程安全

前一种方式比较典型的是 java, Jython 等, 后一种方式比较典型的是 CPython (即Python).

前一种本文不进行讨论, 具体可参考 java 中的多线程编程部分.

至于Python中的全局锁机制,也即 GIL (Global Interpreter Lock), 下面主要进行一些讨论.

GIL

什么是 GIL ? 答案可参考wikipedia中的说明, 简单地说就是:

每一个interpreter进程,只能同时仅有一个线程来执行, 获得相关的锁, 存取相关的资源.

那么很容易就会发现,如果一个interpreter进程只能有一个线程来执行, 多线程的并发则成为不可能, 即使这几个线程之间不存在资源的竞争.

从理论上讲,我们要尽可能地使程序更加并行, 能够充分利用多核的功能, 那么Python为什么要使用 全局的 GIL 来限制这种并行呢?

这个问题,其实已经得到了很多的讨论, 不止十年, 可以参考下面的文档:

反对 GIL 的声音:

  • An open letter to Guido van Rossum (这个文章值得一看,下面有很多的留言也值得一看)

认为 GIL 不能去除的:

  • It isn't Easy to Remove the GIL (这个文章来自python作者 Guido, 他说明了什么要使用 GIL)

其它的一些讨论很容易从Google来搜索得到, 譬如: GIL at google.

那么,简单总结下双方的观点.

认为应该去除 GIL 的:

  • 不顺应计算机的发展潮流(多核时代已经到来, 而 GIL 会很影响多核的使用)
  • 大幅度提升多线程程序的速度

认为不应该去除 GIL 的(如果去掉,会):

  • 写python的扩展(module)时会遇到锁的问题,程序员需要繁琐地加解锁来保证线程安全
  • 会较大幅度地减低单线程程序的速度

后者是 Guido 最为关切的, 也是不去除 GIL 最重要的原因, 一个简单的尝试是在1999年(十年前), 最终的结果是导致单线程的程序速度下降了几乎2倍.

归根结底,其实就是多进程与多线程的选择问题, 有一段话比较有意思, 可以参考 http://www.artima.com/forums/flat.jsp?forum=106&thread=214235.

我引用如下:

I actually don't think removing the GIL is a good solution.
But I don't think threads are a good solution, either.
They're too hard to get right, and I say that after spending literally years studying threading in both C++ and Java.
Brian Goetz has taken to saying that no one can get threading right.

引自 Bruce Eckel 对 Guido 的回复. 而 Bruce Eckel 是何许人, 如果你了解 java 或者 C++, 那么应该不会不知道他.

个人的观点

那么,从我自己的角度来看(我没有太多的多线程编程经验), 先不论多线程的速度优势等,我更加喜欢多进程的是:

  • 简单,无需要人为(或者语言级别)的加解锁. 想想 java 中的多线程编程,程序员通常会在此处出错(java程序员可以思考下)
  • 安全, 这也是浏览器为什么开始使用多进程的一个原因

依照Python自身的哲学, 简单 是一个很重要的原则,所以, 使用 GIL 也是很好理解的.

当然你真的需要充分利用多核的速度优势,此时python可能并非你最佳的选择,请考虑别的语言吧,如 java, erlang 等.

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中使用item()方法遍历字典的例子
Aug 26 Python
python使用fileinput模块实现逐行读取文件的方法
Apr 29 Python
使用Python生成随机密码的示例分享
Feb 18 Python
Python基于回溯法解决01背包问题实例
Dec 06 Python
Python装饰器的执行过程实例分析
Jun 04 Python
Centos部署django服务nginx+uwsgi的方法
Jan 02 Python
python安装requests库的实例代码
Jun 25 Python
使用django的objects.filter()方法匹配多个关键字的方法
Jul 18 Python
决策树剪枝算法的python实现方法详解
Sep 18 Python
Python连接Oracle之环境配置、实例代码及报错解决方法详解
Feb 11 Python
基于python3的socket聊天编程
Feb 17 Python
通过cmd进入python的步骤
Jun 16 Python
pygame实现贪吃蛇游戏(下)
Oct 29 #Python
python TK库简单应用(实时显示子进程输出)
Oct 29 #Python
pygame实现贪吃蛇游戏(上)
Oct 29 #Python
利用Python小工具实现3秒钟将视频转换为音频
Oct 29 #Python
pygame实现打字游戏
Feb 19 #Python
Python 实现自动导入缺失的库
Oct 29 #Python
python实现的读取网页并分词功能示例
Oct 29 #Python
You might like
支持php4、php5的mysql数据库操作类
2008/01/10 PHP
php Try Catch异常测试
2009/03/01 PHP
关于php支持分块与断点续传文件下载功能代码
2014/05/09 PHP
让codeigniter与swfupload整合的最佳解决方案
2014/06/12 PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
2016/03/11 PHP
php类的自动加载操作实例详解
2016/09/28 PHP
PHP的mysqli_sqlstate()函数讲解
2019/01/23 PHP
基于jQuery的ajax功能实现web service的json转化
2009/08/29 Javascript
js获得地址栏?问号后参数的方法
2013/08/08 Javascript
原生js事件的添加和删除的封装
2014/07/01 Javascript
JQuery $.each遍历JavaScript数组对象实例
2014/09/01 Javascript
JavaScript声明变量名的语法规则
2015/07/10 Javascript
Bootstrap每天必学之级联下拉菜单
2016/03/27 Javascript
使用JavaScript获取Request中参数的值方法
2016/09/27 Javascript
详解js界面跳转与值传递
2016/11/22 Javascript
vue-router history模式下的微信分享小结
2018/07/05 Javascript
Vue中使用clipboard实现复制功能
2018/09/05 Javascript
PWA介绍及快速上手搭建一个PWA应用的方法
2019/01/27 Javascript
javascript面向对象三大特征之封装实例详解
2019/07/24 Javascript
vue 父组件通过v-model接收子组件的值的代码
2019/10/27 Javascript
vue实现户籍管理系统
2020/05/29 Javascript
Postman如何实现参数化执行及断言处理
2020/07/28 Javascript
Vue props中Object和Array设置默认值操作
2020/07/30 Javascript
[01:12]快闪回顾DOTA2亚洲邀请赛(DAC) 静候2018新征程开启
2018/03/11 DOTA
python使用循环实现批量创建文件夹示例
2014/03/25 Python
浅谈python字符串方法的简单使用
2016/07/18 Python
Python实现的概率分布运算操作示例
2017/08/14 Python
python字典DICT类型合并详解
2017/08/17 Python
浅谈numpy数组的几种排序方式
2017/12/15 Python
Python语言描述机器学习之Logistic回归算法
2017/12/21 Python
Python实现将数据写入netCDF4中的方法示例
2018/08/30 Python
python list数据等间隔抽取并新建list存储的例子
2019/11/27 Python
将keras的h5模型转换为tensorflow的pb模型操作
2020/05/25 Python
使用anaconda安装pytorch的实现步骤
2020/09/03 Python
老师的检讨书
2014/02/23 职场文书
MySQL不使用order by实现排名的三种思路总结
2021/06/02 MySQL