Django Celery异步任务队列的实现


Posted in Python onJuly 24, 2019

背景

在开发中,我们常常会遇到一些耗时任务,举个例子:

上传并解析一个 1w 条数据的 Excel 文件,最后持久化至数据库。

在我的程序中,这个任务耗时大约 6s,对于用户来说,6s 的等待已经是个灾难了。

比较好的处理方式是:

  1. 接收这个任务的请求
  2. 将这个任务添加到队列中
  3. 立即返回「操作成功,正在后台处理」的字样
  4. 后台消费这个队列,执行这个任务

我们按照这个思路,借助 Celery 进行实现。

实现

本文所使用的环境如下:

  • Python 3.6.7
  • RabbitMQ 3.8
  • Celery 4.3

使用 Docker 安装 RabbitMQ

Celery 依赖一个消息后端,可选方案有 RabbitMQ, Redis 等,本文选用 RabbitMQ 。

同时为了安装方便,RabbitMQ 我直接使用 Docker 安装:

docker run -d --name anno-rabbit -p 5672:5672 rabbitmq:3

启动成功后,即可通过 amqp://localhost 访问该消息队列。

安装并配置 Celery

Celery 是 Python 实现的工具,安装可以直接通过 Pip 完成:

pip install celery

同时假设当前我的项目文件夹为 proj ,项目名为 myproj ,应用名为 myapp

安装完成后,在 proj/myproj/ 路径下创建一个 celery.py 文件,用来初始化 Celery 实例:

proj/myproj/celery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproj.settings')

app = Celery('myproj',
       broker='amqp://localhost//',
       backend='amqp://localhost//')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.s
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

然后在 proj/myproj/__init__.py 中添加对 Celery 对象的引用,确保 Django 启动后能够初始化 Celery:

proj/myproj/__init__.py

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

无其他特殊配置的话,Celery 的基本配置就是这些。

编写一个耗时任务

为了模拟一个耗时任务,我们直接创建一个方法,使其「睡」10s ,并将其设置为 Celery 的任务:

proj/myapp/tasks.py

import time
from myproj.celery import app as celery_app

@celery_app.task
def waste_time():
  time.sleep(10)
  return "Run function 'waste_time' finished."

启动 Celery Worker

Celery 配置完成,并且任务创建成功后,我们以异步任务的模式启动 Celery :

celery -A myproj worker -l info

注意到我强调了异步模式,是因为 Celery 除了支持异步任务,还支持定时任务,因此启动时候要指明。

同时要注意,Celery 一旦启动,对 Task(此处为 waste_time) 的修改必须重启 Celery 才会生效。

任务调用

在请求处理的逻辑代码中,调用上面创建好的任务:

proj/myapp/views.py

from django.http import JsonResponse
from django.views.decorators.http import require_http_methods
from .tasks import waste_time

@require_http_methods(["POST"])
def upload_files(request):
  waste_time.delay()
  # Status code 202: Accepted, 表示异步任务已接受,可能还在处理中
  return JsonResponse({"results": "操作成功,正在上传,请稍候..."}, status=202)

调用 waste_time.delay() 方法后, waste_time 会被加入到任务队列中,等待空闲的 Celery Worker 调用。

效果

当我们发送请求时,这个接口会直接返回 {"results": "操作成功,正在上传,请稍候..."} 的响应内容而非卡住十秒,用户体验要好许多。

总结

用 Celery 处理这种异步任务是 Python 常用的方法,虽然实际执行成功耗时不变甚至有所增加(如 Worker 繁忙导致处理滞后),但是对于用户体验来说更容易接受,点击上传大文件后可以继续处理其他事务,而不需要在页面等待。
Celery 还有更多用法本文未介绍到,其文档已经非常详尽,有需要可直接参考。

参考

http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html

https://hub.docker.com/_/rabbitmq

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用nntp读取新闻组内容的方法
May 08 Python
总结python实现父类调用两种方法的不同
Jan 15 Python
numpy.transpose对三维数组的转置方法
Apr 17 Python
pyqt5之将textBrowser的内容写入txt文档的方法
Jun 21 Python
python自带tkinter库实现棋盘覆盖图形界面
Jul 17 Python
把django中admin后台界面的英文修改为中文显示的方法
Jul 26 Python
python双向链表原理与实现方法详解
Dec 03 Python
Python实现鼠标自动在屏幕上随机移动功能
Mar 14 Python
Iconfont(矢量图标)+iconmoon(图标svg互转)配合javascript实现社交分享系统
Apr 21 Python
Pyecharts 中Geo函数常用参数的用法说明
Feb 01 Python
Django debug为True时,css加载失败的解决方案
Apr 24 Python
Python绘制散乱的点构成的图的方法
Apr 21 Python
python如何统计代码运行的时长
Jul 24 #Python
Django时区详解
Jul 24 #Python
详解Django定时任务模块设计与实践
Jul 24 #Python
Python3中urlencode和urldecode的用法详解
Jul 23 #Python
对python3中的RE(正则表达式)-详细总结
Jul 23 #Python
python正则表达式匹配不包含某几个字符的字符串方法
Jul 23 #Python
python使用百度文字识别功能方法详解
Jul 23 #Python
You might like
PHP字符串word末字符实现大小写互换的方法
2014/11/10 PHP
人脸识别测颜值、测脸龄、测相似度微信接口
2016/04/07 PHP
ThinkPHP5&5.1实现验证码的生成、使用及点击刷新功能示例
2020/02/07 PHP
laravel入门知识点整理
2020/09/15 PHP
function, new function, new Function之间的区别
2007/03/08 Javascript
jQuery 性能优化指南 (1)
2009/05/21 Javascript
Jquery 学习笔记(一)
2009/10/13 Javascript
通过Javascript创建一个选择文件的对话框代码
2012/06/16 Javascript
动态的改变IFrame的高度实现IFrame自动伸展适应高度
2012/12/28 Javascript
在jquery中combobox多选的不兼容问题总结
2013/12/24 Javascript
JavaScript如何实现在文本框(密码框)输入提示语
2015/12/25 Javascript
解析jquery easyui tree异步加载子节点问题
2017/03/08 Javascript
详解webpack解惑:require的五种用法
2017/06/09 Javascript
vue cli构建的项目中请求代理与项目打包问题
2018/02/26 Javascript
Vue中如何实现proxy代理
2018/04/20 Javascript
讲解vue-router之什么是编程式路由
2018/05/28 Javascript
node.js使用express框架进行文件上传详解
2019/03/03 Javascript
Python中zip()函数用法实例教程
2014/07/31 Python
python smtplib模块发送SSL/TLS安全邮件实例
2015/04/08 Python
举例讲解Django中数据模型访问外键值的方法
2015/07/21 Python
Python中矩阵库Numpy基本操作详解
2017/11/21 Python
PyCharm代码整体缩进,反向缩进的方法
2018/06/25 Python
Django Rest framework之认证的实现代码
2018/12/17 Python
Python3获取电脑IP、主机名、Mac地址的方法示例
2019/04/11 Python
pandas实现导出数据的四种方式
2020/12/13 Python
详解纯CSS3制作的20种loading动效
2017/07/05 HTML / CSS
基于 HTML5 Canvas实现 的交互式地铁线路图
2018/03/05 HTML / CSS
印度最大的网上花店:Ferns N Petals(鲜花、礼品和蛋糕)
2017/10/16 全球购物
shallow copy和deep copy的区别
2016/05/09 面试题
文职个人求职信范文
2013/09/23 职场文书
关于读书的演讲稿
2014/05/07 职场文书
某集团股份有限公司委托书样本
2014/09/24 职场文书
党员干部作风建设思想汇报范文
2014/10/25 职场文书
导游词之山西关帝庙
2019/11/01 职场文书
Python可变集合和不可变集合的构造方法大全
2021/12/06 Python
html中两种获取标签内的值的方法
2022/06/10 HTML / CSS