Python通过Manager方式实现多个无关联进程共享数据的实现


Posted in Python onNovember 07, 2019

Python实现多进程间通信的方式有很多种,例如队列,管道等。

但是这些方式只适用于多个进程都是源于同一个父进程的情况。

如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。

Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。

它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。

manager.py代码,实现server和client两个类

# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
进程间通信
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock

MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'

#定义一个Manager类
class InfoManager(BaseManager): pass


class DictItem():
  def __init__(self, ):
    self.items = dict()

  def set(self, key, value):
    self.items[key] = value

  def get(self, key):
    return self.items.get(key)

  def __setitem__(self, key, value):
    self.set(key, value)

#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,
#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以
#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)


class ManagerServer():
  '''
  multiprocess Manager服务类
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key

  def start_manager_server(self):
    self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
    # self.dict = self.queue_manager.dict()
    self.server = self.queue_manager.get_server()

  def run(self):
    self.start_manager_server()
    self.server.serve_forever()

  def stop(self):
    self.server.shutdown()
    self.is_stop = 1


class ManagerClient():
  '''
  访问mutiprocess Manager的类
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key
    # self.get_share_dict()
    self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
    self.info_manager.connect()

  def get_dict(self):
    # self.dict = m.dict()
    self.dict = self.info_manager.dict()
    return self.dict

  def get_open_qq_login_lock(self):
    self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
    return self.open_qq_login_lock


if __name__ == '__main__':
  pass

用法

1.启动一个ManagerServer,这个进程是阻塞的

import manager

def run():
  manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
  manager_server.run()
if __name__ == '__main__':
  run()

2.实例化一个client,获取共享的变量

# 进程间共享变量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()

注意:

对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python调用cmd命令行制作刷博器
Jan 13 Python
Python中利用sqrt()方法进行平方根计算的教程
May 15 Python
Python 基于Twisted框架的文件夹网络传输源码
Aug 28 Python
使用numba对Python运算加速的方法
Oct 15 Python
python利用插值法对折线进行平滑曲线处理
Dec 25 Python
Python实现个人微信号自动监控告警的示例
Jul 03 Python
python--shutil移动文件到另一个路径的操作
Jul 13 Python
Python字符串函数strip()原理及用法详解
Jul 23 Python
Python rabbitMQ如何实现生产消费者模式
Aug 24 Python
解决python3中os.popen()出错的问题
Nov 19 Python
python中温度单位转换的实例方法
Dec 27 Python
matplotlib之pyplot模块坐标轴标签设置使用(xlabel()、ylabel())
Feb 22 Python
Python上下文管理器类和上下文管理器装饰器contextmanager用法实例分析
Nov 07 #Python
Python中xml和dict格式转换的示例代码
Nov 07 #Python
python对象转字典的两种实现方式示例
Nov 07 #Python
python多线程高级锁condition简单用法示例
Nov 07 #Python
python文件操作的简单方法总结
Nov 07 #Python
详解Django admin高级用法
Nov 06 #Python
Python全局锁中如何合理运用多线程(多进程)
Nov 06 #Python
You might like
注册页面之前先验证用户名是否存在的php代码
2012/07/14 PHP
用PHP代码给图片加水印
2015/07/01 PHP
在云虚拟主机部署thinkphp5项目的步骤详解
2017/12/21 PHP
javascript 数组学习资料收集
2010/04/11 Javascript
javascript 函数调用的对象和方法
2010/07/01 Javascript
Extjs中通过Tree加载右侧TabPanel具体实现
2013/05/05 Javascript
利用js 进行输入框自动匹配字符的小例子
2013/06/29 Javascript
探讨jQuery的ajax使用场景(c#)
2013/12/03 Javascript
代码触发js事件(click、change)示例应用
2013/12/13 Javascript
javascript实现倒计时(精确到秒)
2015/06/26 Javascript
JavaScript在网页中画圆的函数arc使用方法
2015/11/13 Javascript
将JavaScript的jQuery库中表单转化为JSON对象的方法
2015/11/17 Javascript
vue2.0 elementUI制作面包屑导航栏
2018/02/22 Javascript
Angular 组件之间的交互的示例代码
2018/03/24 Javascript
Vue中axios的封装(报错、鉴权、跳转、拦截、提示)
2019/08/20 Javascript
node.js中path路径模块的使用方法实例分析
2020/02/13 Javascript
Python操作CouchDB数据库简单示例
2015/03/10 Python
教你学会使用Python正则表达式
2017/09/07 Python
python之文件读取一行一行的方法
2018/07/12 Python
详解python 模拟豆瓣登录(豆瓣6.0)
2019/04/18 Python
浅析python,PyCharm,Anaconda三者之间的关系
2019/11/27 Python
安装多个版本的TensorFlow的方法步骤
2020/04/21 Python
Python中三维坐标空间绘制的实现
2020/09/22 Python
Python安装Bs4的多种方法
2020/11/28 Python
北京RT科技有限公司.net工程师面试题
2013/02/15 面试题
硕士研究生自我鉴定
2013/11/08 职场文书
高中美术教学反思
2014/01/19 职场文书
企业文化标语大全
2014/06/10 职场文书
英语专业求职信
2014/07/08 职场文书
2014校长四风问题对照检查材料思想汇报
2014/09/16 职场文书
2015年八一建军节演讲稿
2015/03/19 职场文书
求职信范文怎么写
2015/03/19 职场文书
大学生军训心得体会5篇
2019/08/15 职场文书
60条职场经典语录,总有一条能触动你的心
2019/08/21 职场文书
2021好看的国漫排行榜前十名 《完美世界》上榜,《元龙》排名第一
2022/03/18 国漫
在ubuntu下安装go开发环境的全过程
2022/08/05 Golang