python分布式计算dispy的使用详解


Posted in Python onDecember 22, 2019

dispy,是用asyncoro实现的分布式并行计算框架。

框架也是非常精简,只有4个组件,在其源码文件夹下可以找到:

dispy.py (client) provides two ways of creating “clusters”: JobCluster when only one instance of dispy may run and SharedJobCluster when multiple instances may run (in separate processes). If JobCluster is used, the scheduler contained within dispy.py will distribute jobs on the server nodes; if SharedJobCluster is used, a separate scheduler (dispyscheduler) must be running.

dispynode.py executes jobs on behalf of dispy. dispynode must be running on each of the (server) nodes that form the cluster.

dispyscheduler.py is needed only when SharedJobCluster is used; this provides a scheduler that can be shared by multiple dispy users.

dispynetrelay.py is needed when nodes are located across different networks; this relays information about nodes on a network to the scheduler. If all the nodes are on same network, there is no need for dispynetrelay - the scheduler and nodes automatically discover each other.

一般情况下,使用dispy和dispynode就已经足够解决问题了。

简单使用:

服务器端:

在服务器端启动dispy,监听并接收所有发来的计算任务,完成计算后将结果返回给客户端。

打开python_home/Scripts文件夹,在安装dispy后会有上面说到的4个dispy组件,以py文件形式存在。当然你也可以在dispy的源码文件夹里面找到对于的dispynode.py文件,然后执行

python dispynode.py -c 2 -i 192.168.138.128 -p 51348 -s secret --clean

python dispynode.py -c 2 -i 192.168.8.143 -p 51348 -s secret --clean

这里192.168.138.128和192.168.8.143是执行计算节点的ip(对服务器来说相当于localhost),这里我启用了两个节点,每个节点使用2个cpu资源,其中有一个节点是在虚拟机,一个是本地机器。

-s secret是通信密码,客户端和服务器连接需要密码,密码随意。

--clean表示每次启动服务都删除上次的启动信息,如果不删除,可能会出现pid占用的错误。

客户端:

在客户端需要注意的是,发送到计算节点函数所引用的模块,不能在py文件的顶层导入,而需要在函数内导入。

对于需要导入自定义模块,比较麻烦一点,需要先实例化函数,才能在计算节点的函数中使用。

# 这些在顶层导入的模块只能是这个py文件用
import time
import socket
import numpy
import datetime

# 这个是自定义函数,要在本模块中先实例化才能在计算节点函数中调用使用,
# 而本模块的其他地方可以直接调用使用
from my_package.my_model import get_time 

# 实例化自定义的函数,注意后面是没有括号的,否则就是直接调用得到返回值了
now = get_time.now

# 计算函数,dispy将这个函数和参数一并发送到服务器节点
# 如果函数有多个参数,需要包装程tuple格式
def compute(args):
 n,array=args # 如果函数有多个参数,需要包装程tuple格式
 # 看到没,计算需要的模块是在函数内导入的
 import time, socket
 time.sleep(3)
 host = socket.gethostname()
 # 这个py文件中自定义函数,可以直接引用
 total= my_sum(array)
 # 这个now是在其他模块中自定义的函数,需要在顶层先实例化才能引用
 now_time=now()
 return (host, n, total,now_time)

def sum(array):
 # 自定义函数,需要的模块同样需要在函数内导入
 import numpy as np
 return np.sum(array)

def loadData():
 # 自定义函数,生成测试数据
 import numpy as np
 data = np.random.rand(20,20)
 data = [line for line in data]
 return data



if __name__ == '__main__':
 import dispy, random
 # 定义两个计算节点
 nodes = ['192.168.8.143', '192.168.138.128']
 # 启动计算集群,和服务器通信,通信密钥是'secret'
 # depends 为依赖函数
 cluster = dispy.JobCluster(compute,nodes=nodes,
      secret='secret',depends=[sum,now])
 jobs = []

 datas = loadData()
 for n in range(len(datas)):
  # 提交任务
  job = cluster.submit((n,datas[n]))
  job.id = n
  jobs.append(job)
 # print(datetime.datetime.now())
 # cluster.wait() # 等待所有任务完成后才接着往下执行
 # print(datetime.datetime.now())
 for job in jobs:
  host, n, total,t = job()
  print('%s executed job %s at %s with %s total=%.2f t=%s' 
    % (host, job.id, job.start_time, n,total,t))
  # other fields of 'job' that may be useful:
  # print job.stdout, job.stderr, job.exception, 
  # job.ip_addr, job.start_time, job.end_time
 # 显示集群计算状态
 cluster.stats()

以上这篇python分布式计算dispy的使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
探寻python多线程ctrl+c退出问题解决方案
Oct 23 Python
结合Python的SimpleHTTPServer源码来解析socket通信
Jun 27 Python
Python存取XML的常见方法实例分析
Mar 21 Python
Python实现类似比特币的加密货币区块链的创建与交易实例
Mar 20 Python
Python hexstring-list-str之间的转换方法
Jun 12 Python
python实现的生成word文档功能示例
Aug 23 Python
DJango的创建和使用详解(默认数据库sqlite3)
Nov 18 Python
解决Python使用列表副本的问题
Dec 19 Python
Python如何将模块打包并发布
Aug 30 Python
Pycharm配置autopep8实现流程解析
Nov 28 Python
Python爬虫中Selenium实现文件上传
Dec 04 Python
python实现学生通讯录管理系统
Feb 25 Python
使用python实现哈希表、字典、集合操作
Dec 22 #Python
浅析Python数字类型和字符串类型的内置方法
Dec 22 #Python
Python利用多线程同步锁实现多窗口订票系统(推荐)
Dec 22 #Python
python使用正则来处理各种匹配问题
Dec 22 #Python
Python中base64与xml取值结合问题
Dec 22 #Python
python操作cfg配置文件方式
Dec 22 #Python
python实现局域网内实时通信代码
Dec 22 #Python
You might like
PHP中extract()函数的妙用分析
2012/07/11 PHP
CURL的学习和应用(附多线程实现)
2013/06/03 PHP
析构函数与php的垃圾回收机制详解
2013/10/28 PHP
浅析Yii2 GridView实现下拉搜索教程
2016/04/22 PHP
CLASS_CONFUSION JS混淆 全源码
2007/12/12 Javascript
EasySlider 基于jQuery功能强大简单易用的滑动门插件
2010/06/11 Javascript
计算世界完全对称日的js代码,粗糙版
2011/11/04 Javascript
js传参数受特殊字符影响错误的解决方法
2013/10/21 Javascript
6种javascript显示当前系统时间代码
2015/12/01 Javascript
javascript实现倒计时跳转页面
2016/01/17 Javascript
js获取当前年月日-YYYYmmDD格式的实现代码
2016/06/01 Javascript
angularjs项目的页面跳转如何实现(5种方法)
2017/05/25 Javascript
深究AngularJS——ng-checked(回写:带真实案例代码)
2017/06/13 Javascript
详解JS中的this、apply、call、bind(经典面试题)
2017/09/19 Javascript
JS canvas绘制五子棋的棋盘
2020/05/28 Javascript
Vue登录主页动态背景短视频制作
2019/09/21 Javascript
js中!和!!的区别与用法
2020/05/09 Javascript
JS中队列和双端队列实现及应用详解
2020/09/29 Javascript
[54:53]完美世界DOTA2联赛PWL S2 GXR vs PXG 第二场 11.18
2020/11/18 DOTA
python使用正则搜索字符串或文件中的浮点数代码实例
2014/07/11 Python
解读Python中degrees()方法的使用
2015/05/18 Python
Python计算字符宽度的方法
2016/06/14 Python
Python字符串处理实例详解
2017/05/18 Python
Python 3.8中实现functools.cached_property功能
2019/05/29 Python
python中最小二乘法详细讲解
2021/02/19 Python
HTML5+CSS3 诱人的实例:3D立方体旋转动画实例
2016/12/30 HTML / CSS
总结30个CSS3选择器
2017/04/13 HTML / CSS
爱尔兰旅游网站:ebookers.ie
2020/01/24 全球购物
简述synchronized和java.util.concurrent.locks.Lock的异同
2014/12/08 面试题
大学生求职简历的自我评价
2013/10/14 职场文书
北大自主招生自荐信
2013/10/19 职场文书
汽车维修工岗位职责
2014/02/12 职场文书
药剂专业毕业生求职信
2014/06/24 职场文书
党支部评议意见
2015/06/02 职场文书
学校就业保障协议书
2019/06/24 职场文书
python自动化八大定位元素讲解
2021/07/09 Python