在RedHat系Linux上部署Python的Celery框架的教程


Posted in Python onApril 07, 2015

 Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。
架构设计

在RedHat系Linux上部署Python的Celery框架的教程

 Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

1. 消息中间件

    Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括,RabbitMQ, Redis, MongoDB (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ

2.任务执行单元

    Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

3.任务结果存储

    Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, Redis,memcached, MongoDB,SQLAlchemy, Django ORM,Apache Cassandra, IronCache

另外, Celery还支持不同的并发和序列化的手段

1.并发

    Prefork, Eventlet, gevent, threads/single threaded

2.序列化

    pickle, json, yaml, msgpack. zlib, bzip2 compression, Cryptographic message signing 等等

安装和运行

Celery的安装过程略为复杂,下面的安装过程是基于我的AWS EC2的Linux版本的安装过程,不同的系统安装过程可能会有差异。大家可以参考官方文档。

首先我选择RabbitMQ作为消息中间件,所以要先安装RabbitMQ。作为安装准备,先更新YUM。
 

sudo yum -y update

RabbitMQ是基于erlang的,所以先安装erlang
 
# Add and enable relevant application repositories:
# Note: We are also enabling third party remi package repositories.
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
sudo rpm -Uvh remi-release-6*.rpm epel-release-6*.rpm
 
# Finally, download and install Erlang:
yum install -y erlang

然后安装RabbitMQ
 

# Download the latest RabbitMQ package using wget:
wget 
# Add the necessary keys for verification:
rpm --import 
# Install the .RPM package using YUM:
yum install rabbitmq-server-3.2.2-1.noarch.rpm

启动RabbitMQ服务
 

rabbitmq-server start
RabbitMQ服务已经准备好了,然后安装Celery, 假定你使用pip来管理你的python安装包
pip install Celery

 

为了测试Celery是否工作,我们运行一个最简单的任务,编写tasks.py
 
from celery import Celery
 
app = Celery('tasks', backend='amqp', broker='amqp://guest@localhost//')
app.conf.CELERY_RESULT_BACKEND = 'db+sqlite:///results.sqlite'
 
@app.task
def add(x, y):
 return x + y

在当前目录运行一个worker,用来执行这个加法的task
 

celery -A tasks worker --loglevel=info

其中-A参数表示的是Celery App的名字。注意这里我使用的是SQLAlchemy作为结果存储。对应的python包要事先安装好。

worker日志中我们会看到这样的信息
 

- ** ---------- [config]
- ** ---------- .> app:   tasks:0x1e68d50
- ** ---------- .> transport: amqp://guest:**@localhost:5672//
- ** ---------- .> results:  db+sqlite:///results.sqlite
- *** --- * --- .> concurrency: 8 (prefork)

其中,我们可以看到worker缺省使用prefork来执行并发,并设置并发数为8

下面的任务执行的客户端代码:
 

from tasks import add
import time
result = add.delay(4,4)
 
while not result.ready():
 print "not ready yet"
 time.sleep(5)
 
print result.get()

用python执行这段客户端代码,在客户端,结果如下
 

not ready 
8

Work日志显示
 

[2015-03-12 02:54:07,973: INFO/MainProcess] Received task: tasks.add[34c4210f-1bc5-420f-a421-1500361b914f]
[2015-03-12 02:54:08,006: INFO/MainProcess] Task tasks.add[34c4210f-1bc5-420f-a421-1500361b914f] succeeded in 0.0309705100954s: 8

这里我们可以发现,每一个task有一个唯一的ID,task异步执行在worker上。

这里要注意的是,如果你运行官方文档中的例子,你是无法在客户端得到结果的,这也是我为什么要使用SQLAlchemy来存储任务执行结果的原因。官方的例子使用AMPQ,有可能Worker在打印日志的时候取出了task的运行结果显示在worker日志中,然而AMPQ作为一个消息队列,当消息被取走后,队列中就没有了,于是客户端总是无法得到任务的执行结果。不知道为什么官方文档对这样的错误视而不见。

如果大家想要对Celery做更进一步的了解,请参考官方文档

Python 相关文章推荐
Python中字符串对齐方法介绍
May 21 Python
Django中URLconf和include()的协同工作方法
Jul 20 Python
Python编程中使用Pillow来处理图像的基础教程
Nov 20 Python
Python基于分水岭算法解决走迷宫游戏示例
Sep 26 Python
Python简单实现查找一个字符串中最长不重复子串的方法
Mar 26 Python
Tensorflow实现卷积神经网络的详细代码
May 24 Python
Python实现制度转换(货币,温度,长度)
Jul 14 Python
python实现低通滤波器代码
Feb 26 Python
python3通过qq邮箱发送邮件以及附件
May 20 Python
python主要用于哪些方向
Jul 05 Python
python3跳出一个循环的实例操作
Aug 18 Python
python 绘制场景热力图的示例
Sep 23 Python
详解Python3.1版本带来的核心变化
Apr 07 #Python
初学Python函数的笔记整理
Apr 07 #Python
利用Python绘制数据的瀑布图的教程
Apr 07 #Python
浅析Python中的多进程与多线程的使用
Apr 07 #Python
Python多线程编程(八):使用Event实现线程间通信
Apr 05 #Python
Python多线程编程(七):使用Condition实现复杂同步
Apr 05 #Python
Python多线程编程(六):可重入锁RLock
Apr 05 #Python
You might like
ajax php 实现写入数据库
2009/09/02 PHP
解析linux下安装memcacheq(mcq)全过程笔记
2013/06/27 PHP
php解析http获取的json字符串变量总是空白null
2015/03/02 PHP
php实现倒计时效果
2015/12/19 PHP
PHP中类与对象功能、用法实例解读
2020/03/27 PHP
PHP二维数组分页2种实现方法解析
2020/07/09 PHP
jQuery使用ajaxSubmit()提交表单示例
2014/04/04 Javascript
JavaScript实现Java中StringBuffer的方法
2015/02/09 Javascript
简介alert()与console.log()的不同
2015/08/26 Javascript
JS判断当前页面是否在微信浏览器打开的方法
2015/12/08 Javascript
jQuery数据类型小结(14个)
2016/01/08 Javascript
30分钟快速掌握Bootstrap框架
2016/05/24 Javascript
利用JavaScript缓存远程窃取Wi-Fi密码的思路详解
2018/11/05 Javascript
新手入门带你学习JavaScript引擎运行原理
2019/06/24 Javascript
详解VUE中的插值( Interpolation)语法
2020/10/18 Javascript
详解Python的Flask框架中生成SECRET_KEY密钥的方法
2016/06/07 Python
Python 3.7新功能之dataclass装饰器详解
2018/04/21 Python
Python 读取图片文件为矩阵和保存矩阵为图片的方法
2018/04/27 Python
python爬取个性签名的方法
2018/06/17 Python
Python3.5面向对象与继承图文实例详解
2019/04/24 Python
Python Numpy库datetime类型的处理详解
2019/07/13 Python
实例详解Python装饰器与闭包
2019/07/29 Python
Python使用进程Process模块管理资源
2020/03/05 Python
python实现简单俄罗斯方块
2020/03/13 Python
有趣的Python图片制作之如何用QQ好友头像拼接出里昂
2020/04/22 Python
python3.4中清屏的处理方法
2020/07/06 Python
英国领先的电子、技术和办公用品购物网站:Ebuyer
2018/04/04 全球购物
《影子》教学反思
2014/02/21 职场文书
会计与出纳自荐书范文
2014/03/16 职场文书
房屋买卖授权委托书
2014/09/27 职场文书
检讨书范文500字
2015/01/28 职场文书
2015年国庆节慰问信
2015/03/23 职场文书
升职自荐信范文
2015/03/27 职场文书
2015年扫黄打非工作总结
2015/05/13 职场文书
sql字段解析器的实现示例
2021/06/23 SQL Server
Java Socket实现多人聊天系统
2021/07/15 Java/Android