线程安全及Python中的GIL原理分析


Posted in Python onOctober 29, 2019

本文讲述了线程安全及Python中的GIL。分享给大家供大家参考,具体如下:

摘要

什么是线程安全? 为什么python会使用GIL的机制?

在多核时代的到来的背景下,基于多线程来充分利用硬件的编程方法也不断发展起来, 但是一旦 牵扯到多线程,就必然会涉及到一个概念,即 线程安全, 本文就主要谈下笔者对线程安全的一些理解.

而Python为很多人所抱怨的一点就是GIL,那么python为什么选择使用GIL, 本文也就这个问题进行一些讨论.

引入

你的PC或者笔记本还是单核吗? 如果是,那你已经out了.

随着纳米技术的不断进步, 计算机芯片的工艺也在进步,但是已经很难在工艺上的改进来提高 运算速度而满足 摩尔定理, 所以intel, amd相继在采用横向的扩展即增加更多的CPU, 从而双核, 4核, N核不断推出,于是我们进入了多核时代.

于是一个问题出现了, 多核时代的出现对于我们程序员而言意味着什么, 我们如何利用多核的优势?

在回答这个问题之前,建议对 进程 和 线程 不熟悉的读者可以先补下相关的知识.

当然方案是,可以采用 多进程, 也可以采用 多线程. 二者的最大区别就是, 是否共享资源, 后者是共享资源的,而前者是独立的. 所以你也可能想起了google chrome为什么又开始使用独立的进程 来作为每个tab服务了(不共享数据,意味着有更好的安全性).

相对于进程的轻型特征,多线程环境有个最大的问题就是 如何保证资源竞争,死锁, 数据修改等.

于是,便有了 线程安全 (thread safety)的提出.

线程安全

Thread safety is a computer programming concept applicable in the context of multi-threaded programs.
A piece of code is thread-safe if it functions correctly during simultaneous execution by multiple threads.
In particular, it must satisfy the need for multiple threads to access the same shared data,
and the need for a shared piece of data to be accessed by only one thread at any given time.

上面是wikipedia中的解释, 换句话说, 线程安全 是在多线程的环境下, 线程安全能够保证多个线程同时执行时程序依旧运行正确, 而且要保证对于共享的数据,可以由多个线程存取,但是同一时刻只能有一个线程进行存取.

既然,多线程环境下必须存在资源的竞争,那么如何才能保证同一时刻只有一个线程对共享资源进行存取?

加锁, 对, 加锁可以保证存取操作的唯一性, 从而保证同一时刻只有一个线程对共享数据存取.

通常加锁也有2种不同的粒度的锁:

  • fine-grained(所谓的细粒度), 那么程序员需要自行地加,解锁来保证线程安全
  • coarse-grained(所谓的粗粒度), 那么语言层面本身维护着一个全局的锁机制,用来保证线程安全

前一种方式比较典型的是 java, Jython 等, 后一种方式比较典型的是 CPython (即Python).

前一种本文不进行讨论, 具体可参考 java 中的多线程编程部分.

至于Python中的全局锁机制,也即 GIL (Global Interpreter Lock), 下面主要进行一些讨论.

GIL

什么是 GIL ? 答案可参考wikipedia中的说明, 简单地说就是:

每一个interpreter进程,只能同时仅有一个线程来执行, 获得相关的锁, 存取相关的资源.

那么很容易就会发现,如果一个interpreter进程只能有一个线程来执行, 多线程的并发则成为不可能, 即使这几个线程之间不存在资源的竞争.

从理论上讲,我们要尽可能地使程序更加并行, 能够充分利用多核的功能, 那么Python为什么要使用 全局的 GIL 来限制这种并行呢?

这个问题,其实已经得到了很多的讨论, 不止十年, 可以参考下面的文档:

反对 GIL 的声音:

  • An open letter to Guido van Rossum (这个文章值得一看,下面有很多的留言也值得一看)

认为 GIL 不能去除的:

  • It isn't Easy to Remove the GIL (这个文章来自python作者 Guido, 他说明了什么要使用 GIL)

其它的一些讨论很容易从Google来搜索得到, 譬如: GIL at google.

那么,简单总结下双方的观点.

认为应该去除 GIL 的:

  • 不顺应计算机的发展潮流(多核时代已经到来, 而 GIL 会很影响多核的使用)
  • 大幅度提升多线程程序的速度

认为不应该去除 GIL 的(如果去掉,会):

  • 写python的扩展(module)时会遇到锁的问题,程序员需要繁琐地加解锁来保证线程安全
  • 会较大幅度地减低单线程程序的速度

后者是 Guido 最为关切的, 也是不去除 GIL 最重要的原因, 一个简单的尝试是在1999年(十年前), 最终的结果是导致单线程的程序速度下降了几乎2倍.

归根结底,其实就是多进程与多线程的选择问题, 有一段话比较有意思, 可以参考 http://www.artima.com/forums/flat.jsp?forum=106&thread=214235.

我引用如下:

I actually don't think removing the GIL is a good solution.
But I don't think threads are a good solution, either.
They're too hard to get right, and I say that after spending literally years studying threading in both C++ and Java.
Brian Goetz has taken to saying that no one can get threading right.

引自 Bruce Eckel 对 Guido 的回复. 而 Bruce Eckel 是何许人, 如果你了解 java 或者 C++, 那么应该不会不知道他.

个人的观点

那么,从我自己的角度来看(我没有太多的多线程编程经验), 先不论多线程的速度优势等,我更加喜欢多进程的是:

  • 简单,无需要人为(或者语言级别)的加解锁. 想想 java 中的多线程编程,程序员通常会在此处出错(java程序员可以思考下)
  • 安全, 这也是浏览器为什么开始使用多进程的一个原因

依照Python自身的哲学, 简单 是一个很重要的原则,所以, 使用 GIL 也是很好理解的.

当然你真的需要充分利用多核的速度优势,此时python可能并非你最佳的选择,请考虑别的语言吧,如 java, erlang 等.

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python连接mysql调用存储过程示例
Mar 05 Python
python端口扫描系统实现方法
Nov 19 Python
Python的Scrapy爬虫框架简单学习笔记
Jan 20 Python
Python中.py文件打包成exe可执行文件详解
Mar 22 Python
Python爬虫包BeautifulSoup学习实例(五)
Jun 17 Python
python实现一行输入多个值和一行输出多个值的例子
Jul 16 Python
Python Django Cookie 简单用法解析
Aug 13 Python
pandas read_excel()和to_excel()函数解析
Sep 19 Python
Python3 翻转二叉树的实现
Sep 30 Python
python的help函数如何使用
Jun 11 Python
可视化pytorch 模型中不同BN层的running mean曲线实例
Jun 24 Python
Python中的turtle画箭头,矩形,五角星
Mar 16 Python
pygame实现贪吃蛇游戏(下)
Oct 29 #Python
python TK库简单应用(实时显示子进程输出)
Oct 29 #Python
pygame实现贪吃蛇游戏(上)
Oct 29 #Python
利用Python小工具实现3秒钟将视频转换为音频
Oct 29 #Python
pygame实现打字游戏
Feb 19 #Python
Python 实现自动导入缺失的库
Oct 29 #Python
python实现的读取网页并分词功能示例
Oct 29 #Python
You might like
php面向对象全攻略 (三)特殊的引用“$this”的使用
2009/09/30 PHP
PHP中Session引起的脚本阻塞问题解决办法
2014/04/08 PHP
ThinkPHP标签制作教程
2014/07/10 PHP
WordPress开发中自定义菜单的相关PHP函数使用简介
2016/01/05 PHP
PHP实现基于栈的后缀表达式求值功能
2017/11/10 PHP
php连接mysql数据库最简单的实现方法
2019/09/24 PHP
laravel 时间格式转时间戳的例子
2019/10/11 PHP
jquery文字填写自动高度的实现方法
2016/11/07 Javascript
JS作用域深度解析
2016/12/29 Javascript
vue打包之后生成一个配置文件修改接口的方法
2018/12/09 Javascript
详解Bootstrap 学习(一)入门
2019/04/12 Javascript
vue日历/日程提醒/html5本地缓存功能
2019/09/02 Javascript
python翻译软件实现代码(使用google api完成)
2013/11/26 Python
对于Python中RawString的理解介绍
2016/07/07 Python
Python循环语句中else的用法总结
2016/09/11 Python
python和ruby,我选谁?
2017/09/13 Python
一个月入门Python爬虫学习,轻松爬取大规模数据
2018/01/03 Python
对python中的xlsxwriter库简单分析
2018/05/04 Python
python的常用模块之collections模块详解
2018/12/06 Python
python爬虫获取百度首页内容教学
2018/12/23 Python
详解Python中的正斜杠与反斜杠
2019/08/09 Python
python爬虫 2019中国好声音评论爬取过程解析
2019/08/26 Python
python实现字符串和数字拼接
2020/03/02 Python
Jupyter notebook无法导入第三方模块的解决方式
2020/04/15 Python
Python2与Python3关于字符串编码处理的差别总结
2020/09/07 Python
Python实现FTP文件定时自动下载的步骤
2020/12/19 Python
Html5自定义字体解决方法
2019/10/09 HTML / CSS
合作意向书范本
2014/03/31 职场文书
股份合作协议书
2014/04/12 职场文书
森林防火宣传标语
2014/06/27 职场文书
群教班子对照检查材料
2014/08/26 职场文书
离婚财产分配协议书
2014/10/21 职场文书
小学师德师风整改措施
2014/10/27 职场文书
小学生反邪教心得体会
2016/01/15 职场文书
Python Django获取URL中的数据详解
2021/11/01 Python
CSS font-variation 可变字体的魅力(实例详解)
2022/03/03 HTML / CSS