异步任务队列Celery在Django中的使用方法


Posted in Python onJune 07, 2018

前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架,鉴于网上关于Celery和Django结合的文档较少,大部分也只是粗粗介绍了大概的流程,在实践过程中还是遇到了不少坑,希望记录下来帮助有需要的朋友。

一、Django中的异步请求

Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:http请求发起 -- http handling(request解析) -- url mapping(url正则匹配找到对应的View) -- 在View中进行逻辑的处理、数据计算(包括调用Model类进行数据库的增删改查)--将数据推送到template,返回对应的template/response。

异步任务队列Celery在Django中的使用方法

图1. Django架构总览

同步请求:所有逻辑处理、数据计算任务在View中处理完毕后返回response。在View处理任务时用户处于等待状态,直到页面返回结果。

异步请求:View中先返回response,再在后台处理任务。用户无需等待,可以继续浏览网站。当任务处理完成时,我们可以再告知用户。

二、关于Celery

Celery是基于Python开发的一个分布式任务队列框架,支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。

异步任务队列Celery在Django中的使用方法

图2. Celery架构

图2展示的是Celery的架构,它采用典型的生产生-消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)。实际应用中,用户从Web前端发起一个请求,我们只需要将请求所要处理的任务丢入任务队列broker中,由空闲的worker去处理任务即可,处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务。

三、Django中Celery的实现

在实际使用过程中,发现在Celery在Django里的实现与其在一般.py文件中的实现还是有很大差别,Django有其特定的使用Celery的方式。这里着重介绍Celery在Django中的实现方法,简单介绍与其在一般.py文件中实现方式的差别。

1. 建立消息队列

首先,我们必须拥有一个broker消息队列用于发送和接收消息。Celery官网给出了多个broker的备选方案:RabbitMQ、Redis、Database(不推荐)以及其他的消息中间件。在官网的强力推荐下,我们就使用RabbitMQ作为我们的消息中间人。在Linux上安装的方式如下:

sudo apt-get install rabbitmq-server

命令执行成功后,rabbitmq-server就已经安装好并运行在后台了。

另外也可以通过命令rabbitmq-server来启动rabbitmq server以及命令rabbitmqctl stop来停止server。

更多的命令可以参考rabbitmq官网的用户手册:https://www.rabbitmq.com/manpages.html

2. 安装django-celery

pip install celery
pip install django-celery

3. 配置settings.py

首先,在Django工程的settings.py文件中加入如下配置代码:

import djcelery
djcelery.setup_loader()
BROKER_URL= 'amqp://guest@localhost//'
CELERY_RESULT_BACKEND = 'amqp://guest@localhost//'

其中,当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task。BROKER_URL和CELERY_RESULT_BACKEND分别指代你的Broker的代理地址以及Backend(result store)数据存储地址。在Django中如果没有设置backend,会使用其默认的后台数据库用来存储数据。注意,此处backend的设置是通过关键字CELERY_RESULT_BACKEND来配置,与一般的.py文件中实现celery的backend设置方式有所不同。一般的.py中是直接通过设置backend关键字来配置,如下所示:

app = Celery('tasks', backend='amqp://guest@localhost//', broker='amqp://guest@localhost//')

然后,在INSTALLED_APPS中加入djcelery:

INSTALLED_APPS = (
  ……  
  'qv',
  'djcelery'
  ……  
)

4. 在要使用该任务队列的app根目录下(比如qv),建立tasks.py,比如:

异步任务队列Celery在Django中的使用方法

在tasks.py中我们就可以编码实现我们需要执行的任务逻辑,在开始处import task,然后在要执行的任务方法开头用上装饰器@task。需要注意的是,与一般的.py中实现celery不同,tasks.py必须建在各app的根目录下,且不能随意命名。

5. 生产任务

在需要执行该任务的View中,通过build_job.delay的方式来创建任务,并送入消息队列。比如:

异步任务队列Celery在Django中的使用方法

6. 启动worker的命令

#先启动服务器
python manage.py runserver
#再启动worker 
python manage.py celery worker -c 4 --loglevel=info

四、补充

Django下要查看其他celery的命令,包括参数配置、启动多worker进程的方式都可以通过python manage.py celery --help来查看:

异步任务队列Celery在Django中的使用方法

另外,Celery提供了一个工具flower,将各个任务的执行情况、各个worker的健康状态进行监控并以可视化的方式展现,如下图所示:

异步任务队列Celery在Django中的使用方法

Django下实现的方式如下: 

1. 安装flower:

pip install flower

2. 启动flower(默认会启动一个webserver,端口为5555):

python manage.py celery flower

3. 进入http://localhost:5555即可查看。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python合并文本文件示例
Feb 07 Python
Python中使用strip()方法删除字符串中空格的教程
May 20 Python
python UNIX_TIMESTAMP时间处理方法分析
Apr 18 Python
Python编程判断一个正整数是否为素数的方法
Apr 14 Python
利用python获取当前日期前后N天或N月日期的方法示例
Jul 30 Python
不到40行代码用Python实现一个简单的推荐系统
May 10 Python
详解python 破解网站反爬虫的两种简单方法
Feb 09 Python
基于spring boot 日志(logback)报错的解决方式
Feb 20 Python
如何基于pandas读取csv后合并两个股票
Sep 25 Python
Python 利用argparse模块实现脚本命令行参数解析
Dec 28 Python
Python 中 Shutil 模块详情
Nov 11 Python
Python中npy和mat文件的保存与读取
Apr 24 Python
浅谈python中对于json写入txt文件的编码问题
Jun 07 #Python
Python查看微信撤回消息代码
Jun 07 #Python
spark: RDD与DataFrame之间的相互转换方法
Jun 07 #Python
Python简单实现网页内容抓取功能示例
Jun 07 #Python
pyspark 读取csv文件创建DataFrame的两种方法
Jun 07 #Python
redis之django-redis的简单缓存使用
Jun 07 #Python
PHP实现发送和接收JSON请求
Jun 07 #Python
You might like
laravel实现图片上传预览,及编辑时可更换图片,并实时变化的例子
2019/11/14 PHP
PHP超全局变量实现原理及代码解析
2020/09/01 PHP
PHP文件操作简单介绍及函数汇总
2020/12/11 PHP
超强的IE背景图片闪烁(抖动)的解决办法
2007/09/09 Javascript
js输入框邮箱自动提示功能代码实现
2013/12/10 Javascript
jquery仅用6行代码实现滑动门效果
2015/09/07 Javascript
基于bootstrap的选择框插件icheck
2016/12/23 Javascript
VUE JS 使用组件实现双向绑定的示例代码
2017/01/10 Javascript
Extjs表单输入框异步校验的插件实现方法
2017/03/20 Javascript
微信小程序中显示html格式内容的方法
2017/04/25 Javascript
js中的事件委托或是事件代理使用详解
2017/06/23 Javascript
JS原生数据双向绑定实现代码
2017/08/14 Javascript
详解react native页面间传递数据的几种方式
2018/11/07 Javascript
JS数组扁平化(flat)方法总结详解
2019/06/24 Javascript
[44:39]2014 DOTA2国际邀请赛中国区预选赛 NE VS CNB
2014/05/21 DOTA
Python中的is和id用法分析
2015/01/26 Python
python中logging库的使用总结
2017/10/18 Python
详解Django中类视图使用装饰器的方式
2018/08/12 Python
python创建文件备份的脚本
2018/09/11 Python
python 获取微信好友列表的方法(微信web)
2019/02/21 Python
解决pycharm remote deployment 配置的问题
2019/06/27 Python
使用Python和Scribus创建一个RGB立方体的方法
2019/07/17 Python
Django接收自定义http header过程详解
2019/08/23 Python
Python3如何在服务器打印资产信息
2020/08/27 Python
python通过函数名调用函数的几种场景
2020/09/23 Python
前端制作动画的几种方式(css3,js)
2016/12/12 HTML / CSS
HTML5学习笔记之History API
2015/02/26 HTML / CSS
Boutique 1美国:阿联酋奢侈时尚零售商
2017/10/16 全球购物
大韩航空官方网站:Korean Air
2017/10/25 全球购物
美国奢侈品在线团购网站:Gilt City
2017/11/16 全球购物
英国50岁以上人群的交友网站:Ourtime
2018/03/28 全球购物
瑜伽国际:Yoga International
2018/04/18 全球购物
建筑装饰学院室内设计专业个人自我评价
2013/12/07 职场文书
《祁黄羊》教学反思
2016/02/20 职场文书
Sql-Server数据库单表查询 4.3实验课
2021/04/05 SQL Server
Python matplotlib绘制条形统计图 处理多个实验多组观测值
2022/04/21 Python