Python使用Redis实现作业调度系统(超简单)


Posted in Python onMarch 22, 2016

概述

Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的Web应用程序的完美解决方案。

Redis从它的许多竞争继承来的三个主要特点:

Redis数据库完全在内存中,使用磁盘仅用于持久性。

相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。

Redis可以将数据复制到任意数量的从服务器。

Redis 优势

异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。

支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

步入主题:

Redis作为内存数据库的一个典型代表,已经在很多应用场景中被使用,这里仅就Redis的pub/sub功能来说说怎样通过此功能来实现一个简单的作业调度系统。这里只是想展现一个简单的想法,所以还是有很多需要考虑的东西没有包括在这个例子中,比如错误处理,持久化等。

下面是实现上的想法

MyMaster:集群的master节点程序,负责产生作业,派发作业和获取执行结果。

MySlave:集群的计算节点程序,每个计算节点一个,负责获取作业并运行,并将结果发送会master节点。

channel CHANNEL_DISPATCH:每个slave节点订阅一个channel,比如“CHANNEL_DISPATCH_[idx或机器名]”,master会向此channel中publish被dispatch的作业。

channel CHANNEL_RESULT:用来保存作业结果的channel,master和slave共享此channel,master订阅此channel来获取作业运行结果,每个slave负责将作业执行结果发布到此channel中。

Master代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MyMaster():
def __init__(self):
pass
def start(self):
MyServerResultHandleThread().start()
MyServerDispatchThread().start()
class MyServerDispatchThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
for i in range(1, 100):
channel = CHANNEL_DISPATCH + '_' + str(random.randint(1, 3))
print("Dispatch job %s to %s" % (str(i), channel))
ret = r.publish(channel, str(i))
if ret == 0:
print("Dispatch job %s failed." % str(i))
time.sleep(5)
class MyServerResultHandleThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(CHANNEL_RESULT)
for message in p.listen():
if message['type'] != 'message':
continue
print("Received finished job %s" % message['data'])
if __name__ == "__main__":
MyMaster().start()
time.sleep(10000)

说明

MyMaster类 - master主程序,用来启动dispatch和resulthandler的线程

MyServerDispatchThread类 - 派发作业线程,产生作业并派发到计算节点

MyServerResultHandleThread类 - 作业运行结果处理线程,从channel里获取作业结果并显示

Slave代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from datetime import datetime
import time
import threading
import random
import redis
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
CHANNEL_DISPATCH = 'CHANNEL_DISPATCH'
CHANNEL_RESULT = 'CHANNEL_RESULT'
class MySlave():
def __init__(self):
pass
def start(self):
for i in range(1, 4):
MyJobWorkerThread(CHANNEL_DISPATCH + '_' + str(i)).start()
class MyJobWorkerThread(threading.Thread):
def __init__(self, channel):
threading.Thread.__init__(self)
self.channel = channel
def run(self):
r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=REDIS_DB)
p = r.pubsub()
p.subscribe(self.channel)
for message in p.listen():
if message['type'] != 'message':
continue
print("%s: Received dispatched job %s " % (self.channel, message['data']))
print("%s: Run dispatched job %s " % (self.channel, message['data']))
time.sleep(2)
print("%s: Send finished job %s " % (self.channel, message['data']))
ret = r.publish(CHANNEL_RESULT, message['data'])
if ret == 0:
print("%s: Send finished job %s failed." % (self.channel, message['data']))
if __name__ == "__main__":
MySlave().start()
time.sleep(10000)

说明

MySlave类 - slave节点主程序,用来启动MyJobWorkerThread的线程

MyJobWorkerThread类 - 从channel里获取派发的作业并将运行结果发送回master

测试

首先运行MySlave来定义派发作业channel。

然后运行MyMaster派发作业并显示执行结果。

有关Python使用Redis实现作业调度系统(超简单),小编就给大家介绍这么多,希望对大家有所帮助!

Python 相关文章推荐
Python读取图片属性信息的实现方法
Sep 11 Python
python中os模块详解
Oct 14 Python
Python中模块string.py详解
Mar 12 Python
详谈Pandas中iloc和loc以及ix的区别
Jun 08 Python
使用Python的toolz库开始函数式编程的方法
Nov 15 Python
在Django model中设置多个字段联合唯一约束的实例
Jul 17 Python
django-filter和普通查询的例子
Aug 12 Python
Python3分析处理声音数据的例子
Aug 27 Python
详解Python绘图Turtle库
Oct 12 Python
使用python实现多维数据降维操作
Feb 24 Python
Python爬取豆瓣数据实现过程解析
Oct 27 Python
Python列表元素删除和remove()方法详解
Jan 04 Python
python编写简单爬虫资料汇总
Mar 22 #Python
使用Nginx+uWsgi实现Python的Django框架站点动静分离
Mar 21 #Python
Python中的条件判断语句与循环语句用法小结
Mar 21 #Python
举例讲解Python中的迭代器、生成器与列表解析用法
Mar 20 #Python
深入解析Python中函数的参数与作用域
Mar 20 #Python
总结Python编程中函数的使用要点
Mar 20 #Python
两个命令把 Vim 打造成 Python IDE的方法
Mar 20 #Python
You might like
?生?D片??C字串
2006/12/06 PHP
PHP6 中可能会出现的新特性预览
2014/04/04 PHP
使用php语句将数据库*.sql文件导入数据库
2014/05/05 PHP
PHP.ini安全配置检测工具pcc简单介绍
2015/07/02 PHP
javascript Keycode对照表
2009/10/24 Javascript
javascript插入样式实现代码
2012/02/22 Javascript
JSON.stringify 语法实例讲解
2012/03/14 Javascript
一个简单的Ext.XTemplate的实例代码
2012/03/18 Javascript
用js格式化金额可设置保留的小数位数
2014/05/09 Javascript
node.js下when.js 的异步编程实践
2014/12/03 Javascript
jQuery显示和隐藏 常用的状态判断方法
2015/01/29 Javascript
javascript日期验证之输入日期大于等于当前日期
2015/12/13 Javascript
Json解析的方法小结
2016/06/22 Javascript
JS克隆,属性,数组,对象,函数实例分析
2016/11/26 Javascript
jQuery实现select模糊查询(反射机制)
2017/01/14 Javascript
Vuex之理解state的用法实例
2017/04/19 Javascript
vue2.0 自定义日期时间过滤器
2017/06/07 Javascript
详解在Vue中有条件地使用CSS类
2017/09/30 Javascript
webpack4 处理SCSS的方法示例
2018/09/03 Javascript
JavaScript实现猜数字游戏
2020/05/20 Javascript
再谈Python中的字符串与字符编码(推荐)
2016/12/14 Python
解决python升级引起的pip执行错误的问题
2018/06/12 Python
Django Form and ModelForm的区别与使用
2019/12/06 Python
根据tensor的名字获取变量的值方式
2020/01/04 Python
python3跳出一个循环的实例操作
2020/08/18 Python
python爬虫scrapy框架的梨视频案例解析
2021/02/20 Python
html5设计原理(推荐收藏)
2014/05/17 HTML / CSS
AmazeUI图片轮播效果的示例代码
2020/08/20 HTML / CSS
白俄罗斯大卖场:21vek.by
2019/07/25 全球购物
一些网络技术方面的面试题
2014/05/01 面试题
机关门卫岗位职责
2013/12/30 职场文书
幼儿园安全检查制度
2014/01/30 职场文书
2014年小学植树节活动方案
2014/03/02 职场文书
安全环保标语
2014/06/09 职场文书
质检员岗位职责范本
2015/04/07 职场文书
运动会新闻报道稿
2015/07/22 职场文书