python线程安全及多进程多线程实现方法详解


Posted in Python onSeptember 27, 2019

进程和线程的区别

  • 进程是对运行时程序的封装,是系统资源调度和分配的基本单位
  • 线程是进程的子任务,cpu调度和分配的基本单位,实现进程内并发。
  • 一个进程可以包含多个线程,线程依赖进程存在,并共享进程内存

什么是线程安全

一个线程的修改被另一个线程的修改覆盖掉。

python中哪些操作是线程安全的

  • 一个操作可以在多线程环境中使用,并且获得正确的结果。
  • 线程安全的操作线程是顺序执行的而不是并发执行的。
  • 一般涉及到写操作需要考虑如何让多个线程安全访问数据。

线程同步的方式

  • 互斥量(锁): 通过互斥机制防止多个线程同时访问公共资源。
  • 信号量(Semphare): 控制同一时刻多个线程访问同一个资源的线程数。 ps:python的threading 文档
  • 事件(信号): 通过通知的方式保持多个线程的同步。

进程间的通信方式 (IPC:Inter-Process Communication 进程间传递信号或者数据)

  • 管道/匿名管道/有名管道(pipe)
  • 信号(Signal):比如用户使用ctrl+c产生SIGINT程序终止信号
  • 消息队列(Message)
  • 共享内存(share memory)
  • 进程间的信号量(Semaphore)
  • 套接字(socket):最常用的方式,我们的web应用就是这种方式

多线程的例子

# python实现多线程
import threading

lock = threading.Lock()

n = [0]

def foo():
  with lock:  # 加锁
    n[0] = n[0] + 1
    n[0] = n[0] + 1


threads = [] # 用来储存所有线程
for i in range(5000):
  t = threading.Thread(target=foo)  # 传入foo函数
  threads.append(t)
for t in threads:
  t.start()

print(n)

多进程的例子

python有GIL,可以用多进程实现cpu密集程序

  • multiprocessing 多进程模块
  • multiprocessing.Process 类实现多进程
  • 一般在cpu密集的程序里面使用多进程,避免GIL的影响
# 多进程

import multiprocessing

def fib(n):
  if n<= 1:
    return 1
  return fib(n-1) + fib(n-2)



if __name__ == '__main__':
  jobs = []
  for i in range(10,20):
    p = multiprocessing.Process(target=fib, args=(i,))
    jobs.append(p)
    p.start()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现字典的key和values的交换
Aug 04 Python
Python虚拟环境virtualenv的安装与使用详解
May 28 Python
python购物车程序简单代码
Apr 18 Python
python装饰器-限制函数调用次数的方法(10s调用一次)
Apr 21 Python
python中plot实现即时数据动态显示方法
Jun 22 Python
python区块及区块链的开发详解
Jul 03 Python
django之使用celery-把耗时程序放到celery里面执行的方法
Jul 12 Python
Python使用Pandas对csv文件进行数据处理的方法
Aug 01 Python
python实现图像检索的三种(直方图/OpenCV/哈希法)
Aug 08 Python
DataFrame 数据合并实现(merge,join,concat)
Jun 14 Python
利用Vscode进行Python开发环境配置的步骤
Jun 22 Python
python中yield的用法详解
Jan 13 Python
python config文件的读写操作示例
Sep 27 #Python
Python queue队列原理与应用案例分析
Sep 27 #Python
python多环境切换及pyenv使用过程详解
Sep 27 #Python
python 哈希表实现简单python字典代码实例
Sep 27 #Python
python实现发送form-data数据的方法详解
Sep 27 #Python
PyCharm更改字体和界面样式的方法步骤
Sep 27 #Python
Pycharm 字体大小调整设置的方法实现
Sep 27 #Python
You might like
PHP中获取变量的变量名的一段代码的bug分析
2011/07/07 PHP
php根据isbn书号查询amazon网站上的图书信息的示例
2014/02/13 PHP
从零开始学YII2框架(二)通过 Composer 安装扩展插件
2014/08/20 PHP
php遍历CSV类实例
2015/04/14 PHP
PHP微信刮刮卡 附微信接口
2016/07/22 PHP
php解决DOM乱码的方法示例代码
2016/11/20 PHP
Laravel框架路由和控制器的绑定操作方法
2018/06/12 PHP
thinkphp5.1框架模板布局与模板继承用法分析
2019/07/19 PHP
js 兼容多浏览器的回车和鼠标焦点事件代码(IE6/7/8,firefox,chrome)
2010/04/14 Javascript
js创建对象的几种常用方式小结(推荐)
2010/10/24 Javascript
jQuery插件实现大图全屏图片相册
2015/03/14 Javascript
AngularJS使用自定义指令替代ng-repeat的方法
2016/09/17 Javascript
vue中用动态组件实现选项卡切换效果
2017/03/25 Javascript
详解Angular中的自定义服务Service、Provider以及Factory
2017/04/22 Javascript
AngularJS监听ng-repeat渲染完成的方法
2018/03/20 Javascript
JavaScript简易计算器制作
2020/01/17 Javascript
JS实现横向轮播图(初级版)
2020/06/24 Javascript
[03:06]V社市场总监Dota2项目负责人Erik专访:希望更多中国玩家加入DOTA2
2014/07/11 DOTA
[55:44]OG vs NAVI 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
[55:54]FNATIC vs EG 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
使用Python脚本在Linux下实现部分Bash Shell的教程
2015/04/17 Python
星球大战与Python之间的那些事
2016/01/07 Python
Python+request+unittest实现接口测试框架集成实例
2018/03/16 Python
python开发准备工作之配置虚拟环境(非常重要)
2019/02/11 Python
python列表每个元素同增同减和列表元素去空格的实例
2019/07/20 Python
Python操作SQLite/MySQL/LMDB数据库的方法
2019/11/07 Python
python turtle 绘制太极图的实例
2019/12/18 Python
python 爬虫如何正确的使用cookie
2020/10/27 Python
利用CSS3实现动态的二级三级菜单效果实例源码
2017/01/04 HTML / CSS
HTML5 Plus 实现手机APP拍照或相册选择图片上传功能
2016/07/13 HTML / CSS
欧洲第一中国智能手机和平板电脑网上商店:CECT-SHOP
2018/01/08 全球购物
美国非常受欢迎的Spa品牌:Bliss必列斯
2018/04/10 全球购物
酒后驾驶检讨书
2014/01/27 职场文书
优秀班主任经验交流材料
2014/06/02 职场文书
竞聘报告优秀范文
2014/11/06 职场文书
golang通过递归遍历生成树状结构的操作
2021/04/28 Golang