Python通过4种方式实现进程数据通信


Posted in Python onMarch 12, 2020

python提供了4种方式来满足进程间的数据通信

1. 使用multiprocessing.Queue可以在进程间通信,但不能在Pool池创建的进程间进行通信

2. 使用multiprocessing.Manager.Queue可以在Pool进程池创建的进程间进行通信

3. 通过Pipe进行线程间的通信, pipe进程间通信的性能高于Queue,但是它只能在两个进程间进行通信

4. 使用Manager类提供的数据结构可以进行进程间的通信

from multiprocessing import Process, Queue, Pool, Manager, Pipe
# 注意线程间的通信,使用的queue.Queue
# from queue import Queue
import time


# 1. 使用multiprocessing.Queue可以在进程间通信

# def producer(queue):
#   queue.put('A')
#   time.sleep(2)
#
# def consumer(queue):
#   time.sleep(2)
#   data = queue.get()
#   print(data)
#
# if __name__ == '__main__':
#   queue= Queue(10)
#   p = Process(target=producer, args=(queue,))
#   c = Process(target=consumer, args=(queue,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 2. 使用共享全局变量,在多进程间通信(结论: 不行)
# def producer(a):
#   a += 1
#   time.sleep(2)
#
#
# def consumer(a):
#   time.sleep(2)
#   print(a)
#
# if __name__ == '__main__':
#   a = 1
#   p = Process(target=producer, args=(a,))
#   c = Process(target=consumer, args=(a,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 3. multiprocessing.Queue不能用于multiprocessing.Pool进程池创建的进程间进行通信
# def producer(queue):
#   queue.put('A')
#   time.sleep(2)
#
#
# def consumer(queue):
#   time.sleep(2)
#   data = queue.get()
#   print("consumer:%s" % data)
#
#
# if __name__ == '__main__':
#   # queue = Queue(10) # 这个是使用multiprocessing.Queue,无效
#   queue = Manager().Queue(10) # 这个是使用multiprocessing.Manager.Queue, 可以
#   pool = Pool(2)
#   pool.apply_async(producer, args=(queue,))
#   pool.apply_async(consumer, args=(queue,))
#   pool.close()
#   pool.join()


# 4.通过Pipe进行线程间的通信, pipe进程间通信的性能高于Queue
# def producer(pipe):
#   pipe.send('admin')
#
#
# def consumer(pipe):
#   data = pipe.recv()
#   print("consumer:%s" % data)
#
#
# if __name__ == '__main__':
#   receive_pipe, send_pipe = Pipe()
#   """Pipe只能适应于两个进程间的通信"""
#   p = Process(target=producer, args=(send_pipe,))
#   c = Process(target=consumer, args=(receive_pipe,))
#   p.start()
#   c.start()
#   p.join()
#   c.join()


# 5. 进程间通信的其它方式

def add_data(p_dict, key, value):
  p_dict[key] = value

if __name__ == '__main__':
  progress_dict = Manager().dict() #Manager()类中提供的数据结构都能够做到进程的通信
  first_progress = Process(target=add_data, args=(progress_dict, 'name', 'admin',))
  second_progress = Process(target=add_data, args=(progress_dict, 'age', 45,))
  first_progress.start()
  second_progress.start()
  first_progress.join()
  second_progress.join()
  print(progress_dict) #{'age': 45, 'name': 'admin'}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python解析发往本机的数据包示例 (解析数据包)
Jan 16 Python
python中stdout输出不缓存的设置方法
May 29 Python
python连接mysql实例分享
Oct 09 Python
pygame游戏之旅 添加游戏介绍
Nov 20 Python
Scrapy-Redis结合POST请求获取数据的方法示例
May 07 Python
Python获取时间戳代码实例
Sep 24 Python
python构造函数init实例方法解析
Jan 19 Python
Spring Boot中使用IntelliJ IDEA插件EasyCode一键生成代码详细方法
Mar 20 Python
基于python 取余问题(%)详解
Jun 03 Python
matplotlib基础绘图命令之errorbar的使用
Aug 13 Python
scrapy redis配置文件setting参数详解
Nov 18 Python
Python爬虫模拟登陆哔哩哔哩(bilibili)并突破点选验证码功能
Dec 21 Python
Python多进程编程multiprocessing代码实例
Mar 12 #Python
Python多线程多进程实例对比解析
Mar 12 #Python
Python线程协作threading.Condition实现过程解析
Mar 12 #Python
Python 实现网课实时监控自动签到、打卡功能
Mar 12 #Python
Python基于read(size)方法读取超大文件
Mar 12 #Python
Python函数生成器原理及使用详解
Mar 12 #Python
python deque模块简单使用代码实例
Mar 12 #Python
You might like
压力如何影响浓缩咖啡品质
2021/03/03 咖啡文化
简单实用的.net DataTable导出Execl
2013/10/28 PHP
php生成xml时添加CDATA标签的方法
2014/10/17 PHP
thinkphp文件引用与分支结构用法实例
2014/11/26 PHP
基于jQuery的可以控制左右滚动及自动滚动效果的代码
2010/07/25 Javascript
在页面加载完成后通过jquery给多个span赋值
2014/05/21 Javascript
Jquery对象和Dom对象的区别分析
2014/11/20 Javascript
Jquery Ajax xmlhttp请求成功问题
2015/02/04 Javascript
jQuery使用JSONP实现跨域获取数据的三种方法详解
2017/05/04 jQuery
详解基于angular-cli配置代理解决跨域请求问题
2017/07/05 Javascript
微信小程序progress组件使用详解
2018/01/31 Javascript
vue-cli 目录结构详细讲解总结
2019/01/15 Javascript
Vue CL3 配置路径别名详解
2019/05/30 Javascript
d3.js实现图形缩放平移
2019/12/19 Javascript
vant组件中 dialog的确认按钮的回调事件操作
2020/11/04 Javascript
[01:01:04]2018DOTA2亚洲邀请赛 4.5 淘汰赛 OpTic vs TNC 第一场
2018/04/06 DOTA
pytyon 带有重复的全排列
2013/08/13 Python
在Django的URLconf中使用多个视图前缀的方法
2015/07/18 Python
Python增量循环删除MySQL表数据的方法
2016/09/23 Python
Python正则抓取新闻标题和链接的方法示例
2017/04/24 Python
Python探索之实现一个简单的HTTP服务器
2017/10/28 Python
Python求均值,方差,标准差的实例
2019/06/29 Python
python with (as)语句实例详解
2020/02/04 Python
Selenium使用Chrome模拟手机浏览器方法解析
2020/04/10 Python
pytorch 查看cuda 版本方式
2020/06/23 Python
python各种excel写入方式的速度对比
2020/11/10 Python
python unichr函数知识点总结
2020/12/16 Python
使用Python制作一盏 3D 花灯喜迎元宵佳节
2021/02/26 Python
HTML5之SVG 2D入门13—svg对决canvas及长处和适用场景分析
2013/01/30 HTML / CSS
西班牙语在线票务市场:SuperBoletería
2019/06/10 全球购物
销售经理岗位职责
2014/03/16 职场文书
创先争优承诺书范文
2014/03/31 职场文书
投诉信格式范文
2015/07/02 职场文书
2016入党积极分子党课学习心得体会
2015/10/09 职场文书
小学五年级(说明文3篇)
2019/08/13 职场文书
导游词之鲁迅祖居
2019/10/17 职场文书