Python通过4种方式实现进程数据通信


Posted in Python onMarch 12, 2020

python提供了4种方式来满足进程间的数据通信

1. 使用multiprocessing.Queue可以在进程间通信,但不能在Pool池创建的进程间进行通信

2. 使用multiprocessing.Manager.Queue可以在Pool进程池创建的进程间进行通信

3. 通过Pipe进行线程间的通信, pipe进程间通信的性能高于Queue,但是它只能在两个进程间进行通信

4. 使用Manager类提供的数据结构可以进行进程间的通信

from multiprocessing import Process, Queue, Pool, Manager, Pipe
# 注意线程间的通信,使用的queue.Queue
# from queue import Queue
import time


# 1. 使用multiprocessing.Queue可以在进程间通信

# def producer(queue):
#   queue.put('A')
#   time.sleep(2)
#
# def consumer(queue):
#   time.sleep(2)
#   data = queue.get()
#   print(data)
#
# if __name__ == '__main__':
#   queue= Queue(10)
#   p = Process(target=producer, args=(queue,))
#   c = Process(target=consumer, args=(queue,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 2. 使用共享全局变量,在多进程间通信(结论: 不行)
# def producer(a):
#   a += 1
#   time.sleep(2)
#
#
# def consumer(a):
#   time.sleep(2)
#   print(a)
#
# if __name__ == '__main__':
#   a = 1
#   p = Process(target=producer, args=(a,))
#   c = Process(target=consumer, args=(a,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 3. multiprocessing.Queue不能用于multiprocessing.Pool进程池创建的进程间进行通信
# def producer(queue):
#   queue.put('A')
#   time.sleep(2)
#
#
# def consumer(queue):
#   time.sleep(2)
#   data = queue.get()
#   print("consumer:%s" % data)
#
#
# if __name__ == '__main__':
#   # queue = Queue(10) # 这个是使用multiprocessing.Queue,无效
#   queue = Manager().Queue(10) # 这个是使用multiprocessing.Manager.Queue, 可以
#   pool = Pool(2)
#   pool.apply_async(producer, args=(queue,))
#   pool.apply_async(consumer, args=(queue,))
#   pool.close()
#   pool.join()


# 4.通过Pipe进行线程间的通信, pipe进程间通信的性能高于Queue
# def producer(pipe):
#   pipe.send('admin')
#
#
# def consumer(pipe):
#   data = pipe.recv()
#   print("consumer:%s" % data)
#
#
# if __name__ == '__main__':
#   receive_pipe, send_pipe = Pipe()
#   """Pipe只能适应于两个进程间的通信"""
#   p = Process(target=producer, args=(send_pipe,))
#   c = Process(target=consumer, args=(receive_pipe,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 5. 进程间通信的其它方式

def add_data(p_dict, key, value):
  p_dict[key] = value

if __name__ == '__main__':
  progress_dict = Manager().dict() #Manager()类中提供的数据结构都能够做到进程的通信
  first_progress = Process(target=add_data, args=(progress_dict, 'name', 'admin',))
  second_progress = Process(target=add_data, args=(progress_dict, 'age', 45,))
  first_progress.start()
  second_progress.start()
  first_progress.join()
  second_progress.join()
  print(progress_dict) #{'age': 45, 'name': 'admin'}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python网络编程实例简析
Sep 26 Python
Python中的迭代器漫谈
Feb 03 Python
Python使用pip安装报错:is not a supported wheel on this platform的解决方法
Jan 23 Python
Python 中导入csv数据的三种方法
Nov 01 Python
Python+OpenCv制作证件图片生成器的操作方法
Aug 21 Python
Python多线程及其基本使用方法实例分析
Oct 29 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
Apr 19 Python
浅谈numpy中函数resize与reshape,ravel与flatten的区别
Jun 18 Python
Python是怎样处理json模块的
Jul 16 Python
python 制作本地应用搜索工具
Feb 27 Python
Python办公自动化之教你如何用Python将任意文件转为PDF格式
Jun 28 Python
Python帮你解决手机qq微信内存占用太多问题
Feb 15 Python
Python多进程编程multiprocessing代码实例
Mar 12 #Python
Python多线程多进程实例对比解析
Mar 12 #Python
Python线程协作threading.Condition实现过程解析
Mar 12 #Python
Python 实现网课实时监控自动签到、打卡功能
Mar 12 #Python
Python基于read(size)方法读取超大文件
Mar 12 #Python
Python函数生成器原理及使用详解
Mar 12 #Python
python deque模块简单使用代码实例
Mar 12 #Python
You might like
PHP显示今天、今月、上月、今年的起点/终点时间戳的代码
2011/05/25 PHP
php过滤HTML标签、属性等正则表达式汇总
2014/09/22 PHP
微信公众平台实现获取用户OpenID的方法
2015/04/15 PHP
PHP实现搜索相似图片
2015/09/22 PHP
Laravel中10个有用的用法小结
2019/05/06 PHP
cookie的复制与使用记住用户名实现代码
2013/11/04 Javascript
jquery使用jquery.zclip插件复制对象的实例教程
2013/12/04 Javascript
让人蛋疼的JavaScript语法特性
2014/09/30 Javascript
javascript实现checkBox的全选,反选与赋值
2015/03/12 Javascript
kindeditor编辑器点中图片滚动条往上顶的bug
2015/07/05 Javascript
JS实现带有抽屉效果的产品类网站多级导航菜单代码
2015/09/15 Javascript
javascript设置和获取cookie的方法实例详解
2016/01/05 Javascript
JavaScript 上传文件(psd,压缩包等),图片,视频的实现方法
2017/06/19 Javascript
JS如何设置元素样式的方法示例
2017/08/28 Javascript
vue中使用 pako.js 解密 gzip加密字符串的方法
2019/06/10 Javascript
ES6基础之字符串和函数的拓展详解
2019/08/22 Javascript
javascript实现前端分页效果
2020/06/24 Javascript
python备份文件的脚本
2008/08/11 Python
Python实现数据库编程方法详解
2015/06/09 Python
Python中查看文件名和文件路径
2017/03/31 Python
python实现手机通讯录搜索功能
2018/02/22 Python
Python 使用PIL中的resize进行缩放的实例讲解
2018/08/03 Python
使用TFRecord存取多个数据案例
2020/02/17 Python
python数据预处理 :数据共线性处理详解
2020/02/24 Python
字中字效果的实现【html5实例】
2016/05/03 HTML / CSS
金牌葡萄酒俱乐部:Gold Medal Wine Club
2017/11/02 全球购物
EJB的激活机制
2013/10/25 面试题
一份报关员的职业规划范文
2014/01/08 职场文书
学生宿舍管理制度
2014/01/30 职场文书
优秀信贷员先进事迹
2014/01/31 职场文书
幼儿园父亲节活动方案
2014/03/11 职场文书
销售目标责任书
2014/07/23 职场文书
外贸采购员岗位职责
2015/04/03 职场文书
Pytest中skip skipif跳过用例详解
2021/06/30 Python
python基础之模块的导入
2021/10/24 Python
mysql字段为NULL索引是否会失效实例详解
2022/05/30 MySQL