Python通过Manager方式实现多个无关联进程共享数据的实现


Posted in Python onNovember 07, 2019

Python实现多进程间通信的方式有很多种,例如队列,管道等。

但是这些方式只适用于多个进程都是源于同一个父进程的情况。

如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。

Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。

它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。

manager.py代码,实现server和client两个类

# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
进程间通信
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock

MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'

#定义一个Manager类
class InfoManager(BaseManager): pass


class DictItem():
  def __init__(self, ):
    self.items = dict()

  def set(self, key, value):
    self.items[key] = value

  def get(self, key):
    return self.items.get(key)

  def __setitem__(self, key, value):
    self.set(key, value)

#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,
#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以
#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)


class ManagerServer():
  '''
  multiprocess Manager服务类
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key

  def start_manager_server(self):
    self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
    # self.dict = self.queue_manager.dict()
    self.server = self.queue_manager.get_server()

  def run(self):
    self.start_manager_server()
    self.server.serve_forever()

  def stop(self):
    self.server.shutdown()
    self.is_stop = 1


class ManagerClient():
  '''
  访问mutiprocess Manager的类
  '''

  def __init__(self, domain, port, auth_key):
    self.domain = domain
    self.port = port
    self.auth_key = auth_key
    # self.get_share_dict()
    self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
    self.info_manager.connect()

  def get_dict(self):
    # self.dict = m.dict()
    self.dict = self.info_manager.dict()
    return self.dict

  def get_open_qq_login_lock(self):
    self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
    return self.open_qq_login_lock


if __name__ == '__main__':
  pass

用法

1.启动一个ManagerServer,这个进程是阻塞的

import manager

def run():
  manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
  manager_server.run()
if __name__ == '__main__':
  run()

2.实例化一个client,获取共享的变量

# 进程间共享变量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()

注意:

对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置数据类型详解
Aug 18 Python
python解析xml文件操作实例
Oct 05 Python
python数据处理实战(必看篇)
Jun 11 Python
解决python文件字符串转列表时遇到空行的问题
Jul 09 Python
Pycharm设置utf-8自动显示方法
Jan 17 Python
django 多对多表的创建和插入代码实现
Sep 09 Python
Python帮你识破双11的套路
Nov 11 Python
Django 自动生成api接口文档教程
Nov 19 Python
在Python 的线程中运行协程的方法
Feb 24 Python
PyQt使用QPropertyAnimation开发简单动画
Apr 02 Python
Python多线程:主线程等待所有子线程结束代码
Apr 25 Python
15款Python编辑器的优缺点,别再问我“选什么编辑器”啦
Oct 19 Python
Python上下文管理器类和上下文管理器装饰器contextmanager用法实例分析
Nov 07 #Python
Python中xml和dict格式转换的示例代码
Nov 07 #Python
python对象转字典的两种实现方式示例
Nov 07 #Python
python多线程高级锁condition简单用法示例
Nov 07 #Python
python文件操作的简单方法总结
Nov 07 #Python
详解Django admin高级用法
Nov 06 #Python
Python全局锁中如何合理运用多线程(多进程)
Nov 06 #Python
You might like
php基于PDO连接MSSQL示例DEMO
2016/07/13 PHP
php写一个函数,实现扫描并打印出自定目录下(含子目录)所有jpg文件名
2017/05/26 PHP
PHP学习笔记之session
2018/05/06 PHP
Linux基于php-fpm模式的lamp搭建phpmyadmin的方法
2018/10/25 PHP
不错的JS中变量相关的细节分析
2007/08/13 Javascript
JavaScript小技巧 2.5 则
2010/09/12 Javascript
jquery操作 iframe的方法
2014/12/03 Javascript
JavaScript中的some()方法使用详解
2015/06/09 Javascript
js实现仿Discuz文本框弹出层效果
2015/08/13 Javascript
jQuery实现漂亮实用的商品图片tips提示框效果(无图片箭头+阴影)
2016/04/16 Javascript
JavaScript中对JSON对象的基本操作示例
2016/05/21 Javascript
jQuery ajax MD5实现用户注册即时验证功能
2016/10/11 Javascript
Avalonjs双向数据绑定与监听的实例代码
2017/06/23 Javascript
基于JavaScript实现无限加载瀑布流
2017/07/21 Javascript
AngularJS中的路由使用及实现代码
2017/10/09 Javascript
element ui 表格动态列显示空白bug 修复方法
2018/09/04 Javascript
使用koa2创建web项目的方法步骤
2019/03/12 Javascript
JavaScript Dom 绑定事件操作实例详解
2019/10/02 Javascript
基于javascript原生判断DOM是否加载完毕
2020/10/14 Javascript
[02:08]我的刀塔不可能这么可爱 胡晓桃_1
2014/06/20 DOTA
Python基于Floyd算法求解最短路径距离问题实例详解
2018/05/16 Python
解决python读取几千万行的大表内存问题
2018/06/26 Python
Python输出\u编码将其转换成中文的实例
2018/12/15 Python
python 并发编程 非阻塞IO模型原理解析
2019/08/20 Python
Python 3.8 新功能来一波(大部分人都不知道)
2020/03/11 Python
python logging 重复写日志问题解决办法详解
2020/08/04 Python
CSS3条纹背景制作的实战攻略
2016/05/31 HTML / CSS
请写一个C函数,若处理器是Big_endian的,则返回0;若是Little_endian的,则返回1
2015/07/16 面试题
如何开启linux的ssh服务
2013/06/03 面试题
小学教师岗位职责
2013/11/25 职场文书
金属材料工程个人求职的自我评价
2013/12/04 职场文书
2015年保险公司工作总结
2015/04/24 职场文书
房屋买卖定金协议书
2016/03/21 职场文书
2019年自助餐厅创业计划书模板
2019/08/22 职场文书
古诗之感恩老师
2019/10/24 职场文书
一文读懂go中semaphore(信号量)源码
2021/04/03 Golang