异步任务队列Celery在Django中的使用方法


Posted in Python onJune 07, 2018

前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架,鉴于网上关于Celery和Django结合的文档较少,大部分也只是粗粗介绍了大概的流程,在实践过程中还是遇到了不少坑,希望记录下来帮助有需要的朋友。

一、Django中的异步请求

Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:http请求发起 -- http handling(request解析) -- url mapping(url正则匹配找到对应的View) -- 在View中进行逻辑的处理、数据计算(包括调用Model类进行数据库的增删改查)--将数据推送到template,返回对应的template/response。

异步任务队列Celery在Django中的使用方法

图1. Django架构总览

同步请求:所有逻辑处理、数据计算任务在View中处理完毕后返回response。在View处理任务时用户处于等待状态,直到页面返回结果。

异步请求:View中先返回response,再在后台处理任务。用户无需等待,可以继续浏览网站。当任务处理完成时,我们可以再告知用户。

二、关于Celery

Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。

异步任务队列Celery在Django中的使用方法

图2. Celery架构

图2展示的是Celery的架构,它采用典型的生产生-消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)。实际应用中,用户从Web前端发起一个请求,我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务。

三、Django中Celery的实现

在实际使用过程中,发现在Celery在Django里的实现与其在一般.py文件中的实现还是有很大差别,Django有其特定的使用Celery的方式。这里着重介绍Celery在Django中的实现方法,简单介绍与其在一般.py文件中实现方式的差别。

1. 建立消息队列

首先,我们必须拥有一个broker消息队列用于发送和接收消息。Celery官网给出了多个broker的备选方案:RabbitMQ、Redis、Database(不推荐)以及其他的消息中间件。在官网的强力推荐下,我们就使用RabbitMQ作为我们的消息中间人。在Linux上安装的方式如下:

sudo apt-get install rabbitmq-server

命令执行成功后,rabbitmq-server就已经安装好并运行在后台了。

另外也可以通过命令rabbitmq-server来启动rabbitmq server以及命令rabbitmqctl stop来停止server。

更多的命令可以参考rabbitmq官网的用户手册:https://www.rabbitmq.com/manpages.html

2. 安装django-celery

pip install celery
pip install django-celery

3. 配置settings.py

首先,在Django工程的settings.py文件中加入如下配置代码:

import djcelery
djcelery.setup_loader()
BROKER_URL= 'amqp://guest@localhost//'
CELERY_RESULT_BACKEND = 'amqp://guest@localhost//'

其中,当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task。BROKER_URL和CELERY_RESULT_BACKEND分别指代你的Broker的代理地址以及Backend(result store)数据存储地址。在Django中如果没有设置backend,会使用其默认的后台数据库用来存储数据。注意,此处backend的设置是通过关键字CELERY_RESULT_BACKEND来配置,与一般的.py文件中实现celery的backend设置方式有所不同。一般的.py中是直接通过设置backend关键字来配置,如下所示:

app = Celery('tasks', backend='amqp://guest@localhost//', broker='amqp://guest@localhost//')

然后,在INSTALLED_APPS中加入djcelery:

INSTALLED_APPS = (
  ……  
  'qv',
  'djcelery'
  ……  
)

4. 在要使用该任务队列的app根目录下(比如qv),建立tasks.py,比如:

异步任务队列Celery在Django中的使用方法

在tasks.py中我们就可以编码实现我们需要执行的任务逻辑,在开始处import task,然后在要执行的任务方法开头用上装饰器@task。需要注意的是,与一般的.py中实现celery不同,tasks.py必须建在各app的根目录下,且不能随意命名。

5. 生产任务

在需要执行该任务的View中,通过build_job.delay的方式来创建任务,并送入消息队列。比如:

异步任务队列Celery在Django中的使用方法

6. 启动worker的命令

#先启动服务器
python manage.py runserver
#再启动worker 
python manage.py celery worker -c 4 --loglevel=info

四、补充

Django下要查看其他celery的命令,包括参数配置、启动多worker进程的方式都可以通过python manage.py celery --help来查看:

异步任务队列Celery在Django中的使用方法

另外,Celery提供了一个工具flower,将各个任务的执行情况、各个worker的健康状态进行监控并以可视化的方式展现,如下图所示:

异步任务队列Celery在Django中的使用方法

Django下实现的方式如下: 

1. 安装flower:

pip install flower

2. 启动flower(默认会启动一个webserver,端口为5555):

python manage.py celery flower

3. 进入http://localhost:5555即可查看。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
基础的十进制按位运算总结与在Python中的计算示例
Jun 28 Python
python 格式化输出百分号的方法
Jan 20 Python
PyQt4编程之让状态栏显示信息的方法
Jun 18 Python
python 求某条线上特定x值或y值的点坐标方法
Jul 09 Python
Python使用itchat模块实现简单的微信控制电脑功能示例
Aug 26 Python
python使用 __init__初始化操作简单示例
Sep 26 Python
Python用input输入列表的实例代码
Feb 07 Python
python给视频添加背景音乐并改变音量的具体方法
Jul 19 Python
Python3 pyecharts生成Html文件柱状图及折线图代码实例
Sep 29 Python
python中的测试框架
Nov 13 Python
OpenCV灰度化之后图片为绿色的解决
Dec 01 Python
python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解
Feb 25 Python
浅谈python中对于json写入txt文件的编码问题
Jun 07 #Python
Python查看微信撤回消息代码
Jun 07 #Python
spark: RDD与DataFrame之间的相互转换方法
Jun 07 #Python
Python简单实现网页内容抓取功能示例
Jun 07 #Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
You might like
php项目中百度 UEditor 简单安装调试和调用
2015/07/15 PHP
PHP大文件分割上传 PHP分片上传
2017/08/28 PHP
Nigma vs Liquid BO3 第一场2.14
2021/03/10 DOTA
jquery.idTabs 选项卡使用示例代码
2014/09/03 Javascript
JS中作用域和变量提升(hoisting)的深入理解
2016/10/31 Javascript
vuejs绑定class和style样式
2017/04/11 Javascript
requirejs按需加载angularjs文件实例
2017/06/08 Javascript
基于node.js实现微信支付退款功能
2017/12/19 Javascript
代码整洁之道(重构)
2018/10/25 Javascript
Vue源码解析之Template转化为AST的实现方法
2018/12/14 Javascript
vue实现文件上传读取及下载功能
2020/11/17 Javascript
Vue 中如何将函数作为 props 传递给组件的实现代码
2020/05/12 Javascript
[36:17]DOTA2上海特级锦标赛 - VGL音乐会全集
2016/03/06 DOTA
python实现给数组按片赋值的方法
2015/07/28 Python
深入理解Python中命名空间的查找规则LEGB
2015/08/06 Python
python 常见字符串与函数的用法详解
2018/11/23 Python
pyinstaller打包单个exe后无法执行错误的解决方法
2019/06/21 Python
浅谈Python 递归算法指归
2019/08/22 Python
YUV转为jpg图像的实现
2019/12/09 Python
python百行代码自制电脑端网速悬浮窗的实现
2020/05/12 Python
让Django的BooleanField支持字符串形式的输入方式
2020/05/20 Python
20行Python代码实现一款永久免费PDF编辑工具的实现
2020/08/27 Python
Python绘制数码晶体管日期
2021/02/19 Python
JSF界面控制层技术
2013/06/17 面试题
小学生考试获奖感言
2014/01/30 职场文书
家长对孩子的感言
2014/03/10 职场文书
教师应聘自荐信范文
2014/03/14 职场文书
英语三分钟演讲稿
2014/08/19 职场文书
幼儿园教师自荐书
2015/03/06 职场文书
因工资原因离职的辞职信范文
2015/05/12 职场文书
丧事答谢词大全
2015/09/30 职场文书
七年级话题作文之执着
2019/11/19 职场文书
解决Golang中goroutine执行速度的问题
2021/05/02 Golang
Go语言设计模式之结构型模式
2021/06/22 Golang
浅谈Web Storage API的使用
2021/06/23 Javascript
Github 使用python对copilot做些简单使用测试
2022/04/14 Python