线程安全及Python中的GIL原理分析


Posted in Python onOctober 29, 2019

本文讲述了线程安全及Python中的GIL。分享给大家供大家参考,具体如下:

摘要

什么是线程安全? 为什么python会使用GIL的机制?

在多核时代的到来的背景下,基于多线程来充分利用硬件的编程方法也不断发展起来, 但是一旦 牵扯到多线程,就必然会涉及到一个概念,即 线程安全, 本文就主要谈下笔者对线程安全的一些理解.

而Python为很多人所抱怨的一点就是GIL,那么python为什么选择使用GIL, 本文也就这个问题进行一些讨论.

引入

你的PC或者笔记本还是单核吗? 如果是,那你已经out了.

随着纳米技术的不断进步, 计算机芯片的工艺也在进步,但是已经很难在工艺上的改进来提高 运算速度而满足 摩尔定理, 所以intel, amd相继在采用横向的扩展即增加更多的CPU, 从而双核, 4核, N核不断推出,于是我们进入了多核时代.

于是一个问题出现了, 多核时代的出现对于我们程序员而言意味着什么, 我们如何利用多核的优势?

在回答这个问题之前,建议对 进程 和 线程 不熟悉的读者可以先补下相关的知识.

当然方案是,可以采用 多进程, 也可以采用 多线程. 二者的最大区别就是, 是否共享资源, 后者是共享资源的,而前者是独立的. 所以你也可能想起了google chrome为什么又开始使用独立的进程 来作为每个tab服务了(不共享数据,意味着有更好的安全性).

相对于进程的轻型特征,多线程环境有个最大的问题就是 如何保证资源竞争,死锁, 数据修改等.

于是,便有了 线程安全 (thread safety)的提出.

线程安全

Thread safety is a computer programming concept applicable in the context of multi-threaded programs.
A piece of code is thread-safe if it functions correctly during simultaneous execution by multiple threads.
In particular, it must satisfy the need for multiple threads to access the same shared data,
and the need for a shared piece of data to be accessed by only one thread at any given time.

上面是wikipedia中的解释, 换句话说, 线程安全 是在多线程的环境下, 线程安全能够保证多个线程同时执行时程序依旧运行正确, 而且要保证对于共享的数据,可以由多个线程存取,但是同一时刻只能有一个线程进行存取.

既然,多线程环境下必须存在资源的竞争,那么如何才能保证同一时刻只有一个线程对共享资源进行存取?

加锁, 对, 加锁可以保证存取操作的唯一性, 从而保证同一时刻只有一个线程对共享数据存取.

通常加锁也有2种不同的粒度的锁:

  • fine-grained(所谓的细粒度), 那么程序员需要自行地加,解锁来保证线程安全
  • coarse-grained(所谓的粗粒度), 那么语言层面本身维护着一个全局的锁机制,用来保证线程安全

前一种方式比较典型的是 java, Jython 等, 后一种方式比较典型的是 CPython (即Python).

前一种本文不进行讨论, 具体可参考 java 中的多线程编程部分.

至于Python中的全局锁机制,也即 GIL (Global Interpreter Lock), 下面主要进行一些讨论.

GIL

什么是 GIL ? 答案可参考wikipedia中的说明, 简单地说就是:

每一个interpreter进程,只能同时仅有一个线程来执行, 获得相关的锁, 存取相关的资源.

那么很容易就会发现,如果一个interpreter进程只能有一个线程来执行, 多线程的并发则成为不可能, 即使这几个线程之间不存在资源的竞争.

从理论上讲,我们要尽可能地使程序更加并行, 能够充分利用多核的功能, 那么Python为什么要使用 全局的 GIL 来限制这种并行呢?

这个问题,其实已经得到了很多的讨论, 不止十年, 可以参考下面的文档:

反对 GIL 的声音:

  • An open letter to Guido van Rossum (这个文章值得一看,下面有很多的留言也值得一看)

认为 GIL 不能去除的:

  • It isn't Easy to Remove the GIL (这个文章来自python作者 Guido, 他说明了什么要使用 GIL)

其它的一些讨论很容易从Google来搜索得到, 譬如: GIL at google.

那么,简单总结下双方的观点.

认为应该去除 GIL 的:

  • 不顺应计算机的发展潮流(多核时代已经到来, 而 GIL 会很影响多核的使用)
  • 大幅度提升多线程程序的速度

认为不应该去除 GIL 的(如果去掉,会):

  • 写python的扩展(module)时会遇到锁的问题,程序员需要繁琐地加解锁来保证线程安全
  • 会较大幅度地减低单线程程序的速度

后者是 Guido 最为关切的, 也是不去除 GIL 最重要的原因, 一个简单的尝试是在1999年(十年前), 最终的结果是导致单线程的程序速度下降了几乎2倍.

归根结底,其实就是多进程与多线程的选择问题, 有一段话比较有意思, 可以参考 http://www.artima.com/forums/flat.jsp?forum=106&thread=214235.

我引用如下:

I actually don't think removing the GIL is a good solution.
But I don't think threads are a good solution, either.
They're too hard to get right, and I say that after spending literally years studying threading in both C++ and Java.
Brian Goetz has taken to saying that no one can get threading right.

引自 Bruce Eckel 对 Guido 的回复. 而 Bruce Eckel 是何许人, 如果你了解 java 或者 C++, 那么应该不会不知道他.

个人的观点

那么,从我自己的角度来看(我没有太多的多线程编程经验), 先不论多线程的速度优势等,我更加喜欢多进程的是:

  • 简单,无需要人为(或者语言级别)的加解锁. 想想 java 中的多线程编程,程序员通常会在此处出错(java程序员可以思考下)
  • 安全, 这也是浏览器为什么开始使用多进程的一个原因

依照Python自身的哲学, 简单 是一个很重要的原则,所以, 使用 GIL 也是很好理解的.

当然你真的需要充分利用多核的速度优势,此时python可能并非你最佳的选择,请考虑别的语言吧,如 java, erlang 等.

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python制作websocket服务器实例分享
Nov 20 Python
Python使用正则表达式过滤或替换HTML标签的方法详解
Sep 25 Python
Python实现打印螺旋矩阵功能的方法
Nov 21 Python
用Python进行简单图像识别(验证码)
Jan 19 Python
对python GUI实现完美进度条的示例详解
Dec 13 Python
浅谈Python反射 & 单例模式
Mar 21 Python
Python生成指定数量的优惠码实操内容
Jun 18 Python
Python Tensor FLow简单使用方法实例详解
Jan 14 Python
Pytorch 使用CNN图像分类的实现
Jun 16 Python
Python基于httpx模块实现发送请求
Jul 07 Python
python属于哪种语言
Aug 16 Python
实战Python爬虫爬取酷我音乐
Apr 11 Python
pygame实现贪吃蛇游戏(下)
Oct 29 #Python
python TK库简单应用(实时显示子进程输出)
Oct 29 #Python
pygame实现贪吃蛇游戏(上)
Oct 29 #Python
利用Python小工具实现3秒钟将视频转换为音频
Oct 29 #Python
pygame实现打字游戏
Feb 19 #Python
Python 实现自动导入缺失的库
Oct 29 #Python
python实现的读取网页并分词功能示例
Oct 29 #Python
You might like
input file获得文件根目录简单实现
2013/04/26 PHP
2017年最好用的9个php开发工具推荐(超好用)
2017/10/23 PHP
PHP rmdir()函数的用法总结
2019/07/02 PHP
非常强大的 jQuery.AsyncBox 弹出对话框插件
2011/08/29 Javascript
Javascript图像处理—为矩阵添加常用方法
2012/12/27 Javascript
在js文件中如何获取basePath处理js路径问题
2013/07/10 Javascript
jquery toolbar与网页浮动工具条具体实现代码
2014/01/12 Javascript
jquery插件ajaxupload实现文件上传操作
2015/12/09 Javascript
JQUERY表单暂存功能插件分享
2016/02/23 Javascript
canvas仿iwatch时钟效果
2017/03/06 Javascript
javascript 动态生成css代码的两种方法
2017/03/17 Javascript
JavaScrip数组删除特定元素的几种方法总结
2017/09/06 Javascript
layui-table对返回的数据进行转变显示的实例
2019/09/04 Javascript
Vue 实现分页与输入框关键字筛选功能
2020/01/02 Javascript
Vue实现购物车实例代码两则
2020/05/30 Javascript
uniapp实现可以左右滑动导航栏
2020/10/21 Javascript
js实现菜单跳转效果
2020/12/11 Javascript
pydev使用wxpython找不到路径的解决方法
2013/02/10 Python
python类继承用法实例分析
2015/05/27 Python
Python爬虫框架scrapy实现的文件下载功能示例
2018/08/04 Python
python3调用windows dos命令的例子
2019/08/14 Python
pytorch中nn.Conv1d的用法详解
2019/12/31 Python
Python中url标签使用知识点总结
2020/01/16 Python
Python读取文件内容为字符串的方法(多种方法详解)
2020/03/04 Python
python实现五子棋程序
2020/04/24 Python
python数据抓取3种方法总结
2021/02/07 Python
HTML5 Canvas——用路径描画线条实例介绍
2013/06/09 HTML / CSS
最耐用行李箱,一箱永流传:Briggs & Riley(全球终身保修)
2017/12/07 全球购物
MIS软件工程师的面试题
2016/04/22 面试题
党员群众路线对照检查材料
2014/08/31 职场文书
学校副校长四风对照检查材料整改措施
2014/09/25 职场文书
初三学生语文考试作弊检讨书
2014/12/14 职场文书
撤诉申请书法院范本
2015/05/18 职场文书
2016年万圣节活动总结
2016/04/05 职场文书
详解Go语言Slice作为函数参数的使用
2021/07/02 Golang
kubernetes集群搭建Zabbix监控平台的详细过程
2022/07/07 Servers