异步任务队列Celery在Django中的使用方法


Posted in Python onJune 07, 2018

前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架,鉴于网上关于Celery和Django结合的文档较少,大部分也只是粗粗介绍了大概的流程,在实践过程中还是遇到了不少坑,希望记录下来帮助有需要的朋友。

一、Django中的异步请求

Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:http请求发起 -- http handling(request解析) -- url mapping(url正则匹配找到对应的View) -- 在View中进行逻辑的处理、数据计算(包括调用Model类进行数据库的增删改查)--将数据推送到template,返回对应的template/response。

异步任务队列Celery在Django中的使用方法

图1. Django架构总览

同步请求:所有逻辑处理、数据计算任务在View中处理完毕后返回response。在View处理任务时用户处于等待状态,直到页面返回结果。

异步请求:View中先返回response,再在后台处理任务。用户无需等待,可以继续浏览网站。当任务处理完成时,我们可以再告知用户。

二、关于Celery

Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。

异步任务队列Celery在Django中的使用方法

图2. Celery架构

图2展示的是Celery的架构,它采用典型的生产生-消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)。实际应用中,用户从Web前端发起一个请求,我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务。

三、Django中Celery的实现

在实际使用过程中,发现在Celery在Django里的实现与其在一般.py文件中的实现还是有很大差别,Django有其特定的使用Celery的方式。这里着重介绍Celery在Django中的实现方法,简单介绍与其在一般.py文件中实现方式的差别。

1. 建立消息队列

首先,我们必须拥有一个broker消息队列用于发送和接收消息。Celery官网给出了多个broker的备选方案:RabbitMQ、Redis、Database(不推荐)以及其他的消息中间件。在官网的强力推荐下,我们就使用RabbitMQ作为我们的消息中间人。在Linux上安装的方式如下:

sudo apt-get install rabbitmq-server

命令执行成功后,rabbitmq-server就已经安装好并运行在后台了。

另外也可以通过命令rabbitmq-server来启动rabbitmq server以及命令rabbitmqctl stop来停止server。

更多的命令可以参考rabbitmq官网的用户手册:https://www.rabbitmq.com/manpages.html

2. 安装django-celery

pip install celery
pip install django-celery

3. 配置settings.py

首先,在Django工程的settings.py文件中加入如下配置代码:

import djcelery
djcelery.setup_loader()
BROKER_URL= 'amqp://guest@localhost//'
CELERY_RESULT_BACKEND = 'amqp://guest@localhost//'

其中,当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task。BROKER_URL和CELERY_RESULT_BACKEND分别指代你的Broker的代理地址以及Backend(result store)数据存储地址。在Django中如果没有设置backend,会使用其默认的后台数据库用来存储数据。注意,此处backend的设置是通过关键字CELERY_RESULT_BACKEND来配置,与一般的.py文件中实现celery的backend设置方式有所不同。一般的.py中是直接通过设置backend关键字来配置,如下所示:

app = Celery('tasks', backend='amqp://guest@localhost//', broker='amqp://guest@localhost//')

然后,在INSTALLED_APPS中加入djcelery:

INSTALLED_APPS = (
  ……  
  'qv',
  'djcelery'
  ……  
)

4. 在要使用该任务队列的app根目录下(比如qv),建立tasks.py,比如:

异步任务队列Celery在Django中的使用方法

在tasks.py中我们就可以编码实现我们需要执行的任务逻辑,在开始处import task,然后在要执行的任务方法开头用上装饰器@task。需要注意的是,与一般的.py中实现celery不同,tasks.py必须建在各app的根目录下,且不能随意命名。

5. 生产任务

在需要执行该任务的View中,通过build_job.delay的方式来创建任务,并送入消息队列。比如:

异步任务队列Celery在Django中的使用方法

6. 启动worker的命令

#先启动服务器
python manage.py runserver
#再启动worker 
python manage.py celery worker -c 4 --loglevel=info

四、补充

Django下要查看其他celery的命令,包括参数配置、启动多worker进程的方式都可以通过python manage.py celery --help来查看:

异步任务队列Celery在Django中的使用方法

另外,Celery提供了一个工具flower,将各个任务的执行情况、各个worker的健康状态进行监控并以可视化的方式展现,如下图所示:

异步任务队列Celery在Django中的使用方法

Django下实现的方式如下: 

1. 安装flower:

pip install flower

2. 启动flower(默认会启动一个webserver,端口为5555):

python manage.py celery flower

3. 进入http://localhost:5555即可查看。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python list使用示例 list中找连续的数字
Jan 27 Python
django模型中的字段和model名显示为中文小技巧分享
Nov 18 Python
详解Python中的type()方法的使用
May 21 Python
Python中字符串的修改及传参详解
Nov 30 Python
Python实现读取文件最后n行的方法
Feb 23 Python
pycharm远程调试openstack的图文教程
Nov 21 Python
解决pycharm无法调用pip安装的包问题
May 18 Python
浅谈pycharm的xmx和xms设置方法
Dec 03 Python
wxPython窗体拆分布局基础组件
Nov 19 Python
Python利用matplotlib绘制约数个数统计图示例
Nov 26 Python
Python selenium实现断言3种方法解析
Sep 08 Python
python 提取html文本的方法
May 20 Python
浅谈python中对于json写入txt文件的编码问题
Jun 07 #Python
Python查看微信撤回消息代码
Jun 07 #Python
spark: RDD与DataFrame之间的相互转换方法
Jun 07 #Python
Python简单实现网页内容抓取功能示例
Jun 07 #Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
You might like
Zend 输出产生XML解析错误
2009/03/03 PHP
xmlHTTP实例
2006/10/24 Javascript
javascript数组去掉重复
2011/05/12 Javascript
用jquery和json从后台获得数据集的代码
2011/11/07 Javascript
利用webqq协议使用python登录qq发消息源码参考
2013/04/08 Javascript
js function定义函数的几种不错方法
2014/02/27 Javascript
js插件设置innerHTML时在IE8下提示“未知运行时错误”解决方法
2015/04/25 Javascript
javascript中加var和不加var的区别 你真的懂吗
2016/01/06 Javascript
js严格模式总结(分享)
2016/08/22 Javascript
详解javascript立即执行函数表达式IIFE
2017/02/13 Javascript
用nodeJS搭建本地文件服务器的几种方法小结
2017/03/16 NodeJs
Vue 滚动行为的具体使用方法
2017/09/13 Javascript
微信小程序自定义弹窗滚动与页面滚动冲突的解决方法
2019/07/16 Javascript
详解Vue之计算属性
2020/06/20 Javascript
[40:04]Secret vs Infamous 2019国际邀请赛淘汰赛 败者组 BO3 第二场 8.23
2019/09/05 DOTA
python 实现归并排序算法
2012/06/05 Python
Python获取文件ssdeep值的方法
2014/10/05 Python
解决Python字典写入文件出行首行有空格的问题
2017/09/27 Python
Python用户推荐系统曼哈顿算法实现完整代码
2017/12/01 Python
python爬虫基本知识
2018/03/05 Python
python3 实现对图片进行局部切割的方法
2018/12/05 Python
python实现桌面壁纸切换功能
2019/01/21 Python
Django中在xadmin中集成DjangoUeditor过程详解
2019/07/24 Python
如何实现Django Rest framework版本控制
2019/07/25 Python
Python将视频或者动态图gif逐帧保存为图片的方法
2019/09/10 Python
python os.path.isfile 的使用误区详解
2019/11/29 Python
Python远程方法调用实现过程解析
2020/07/28 Python
python的scipy.stats模块中正态分布常用函数总结
2021/02/19 Python
购买美国制造的相框和画框架:Picture Frames
2018/08/14 全球购物
什么是用户模式(User Mode)与内核模式(Kernel Mode) ?
2014/07/21 面试题
物业管理个人自我评价
2013/11/08 职场文书
餐饮企业总经理岗位职责范文
2014/02/18 职场文书
2014年教师节讲话稿5篇
2014/09/10 职场文书
职称评定个人总结
2015/03/05 职场文书
《蚂蚁和蝈蝈》教学反思
2016/02/22 职场文书
Python基础之条件语句详解
2021/06/16 Python