Django使用Celery异步任务队列的使用


Posted in Python onMarch 13, 2018

1 Celery简介

Celery是异步任务队列,可以独立于主进程运行,在主进程退出后,也不影响队列中的任务执行。

任务执行异常退出,重新启动后,会继续执行队列中的其他任务,同时可以缓存停止期间接收的工作任务,这个功能依赖于消息队列(MQ、Redis)。

1.1 Celery原理

Django使用Celery异步任务队列的使用

Celery的 架构 由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

消息中间件:Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括, RabbitMQRedis ,  MongoDB  (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ。推荐使用:RabbitMQ、Redis作为消息队列。

任务执行单元:Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

任务结果存储:Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, Redis,memcached, MongoDB,SQLAlchemy, Django ORM,Apache Cassandra, IronCache

1.2Celery适用场景

异步任务处理:例如给注册用户发送短消息或者确认邮件任务。 大型任务:执行时间较长的任务,例如视频和图片处理,添加水印和转码等,需要执行任务时间长。 定时执行的任务:支持任务的定时执行和设定时间执行。例如性能压测定时执行。

 2Celery开发环境准备

 2.1 环境准备

软件名称 版本号 说明
Linux Centos 6.5(64bit) 操作系统
Python 3.5.2
Django 1.10 Web框架
Celery 4.0.2 异步任务队列
Redis 2.4 消息队列

2.2     Celery安装

使用方法介绍:

Celery的运行依赖消息队列,使用时需要安装redis或者rabbit。

这里我们使用Redis。安装redis库:

sudo yum install redis

启动redis:

sudo service redis start

安装celery库

sudo pip install celery==4.0.2

3Celery单独执行任务

 3.1编写任务

创建task.py文件

说明:这里初始Celery实例时就加载了配置,使用的redis作为消息队列和存储任务结果。

Django使用Celery异步任务队列的使用

运行celery:

$ celery -A task worker --loglevel=info

看到下面的打印,说明celery成功运行。

Django使用Celery异步任务队列的使用

3.2 调用任务

直接打开python交互命令行

执行下面代码:

Django使用Celery异步任务队列的使用

可以celery的窗口看到任务的执行信息

Django使用Celery异步任务队列的使用

任务执行状态监控和获取结果:

Django使用Celery异步任务队列的使用

3.3任务调用方法总结

有两种方法:

delay和apply_async ,delay方法是apply_async简化版。

add.delay(2, 2)
add.apply_async((2, 2))
add.apply_async((2, 2), queue='lopri')

delay方法是apply_async简化版本。

apply_async方法是可以带非常多的配置参数,包括指定队列等

Queue 指定队列名称,可以把不同任务分配到不同的队列 3.4     任务状态

每个任务有三种状态:PENDING -> STARTED -> SUCCESS

任务查询状态:res.state

来查询任务的状态

Django使用Celery异步任务队列的使用

4与Django集成

上面简单介绍了celery异步任务的基本方法,结合我们实际的应用,我们需要与Django一起使用,下面介绍如何与Django结合。

4.1与Django集成方法

与Django集成有两种方法:

  1. Django 1.8 以上版本:与Celery 4.0版本集成
  2. Django 1.8 以下版本:与Celery3.1版本集成,使用django-celery库

今天我们介绍celery4.0 和django 1.8以上版本集成方法。

4.2 创建项目文件

创建一个项目:名字叫做proj

- proj/
 - proj/__init__.py
 - proj/settings.py
 - proj/urls.py
 - proj/wsgi.py
- manage.py

创建一个新的文件: proj/proj/mycelery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
 
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
 
app = Celery('proj')
 
# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
 
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

在proj/proj/__init__.py:添加

from __future__ import absolute_import, unicode_literals
 
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .mycelery import app as celery_app
 
__all__ = ['celery_app']

4.3 配置Celery

我们在mycelery.py文件中说明celery的配置文件在settings.py中,并且是以CELERY开头。

app.config_from_object('django.conf:settings', namespace='CELERY')

在settings.py文件中添加celery配置:

Django使用Celery异步任务队列的使用

我们的配置是使用redis作为消息队列,消息的代理和结果都是用redis,任务的序列化使用json格式。

重要:redis://127.0.0.1:6379/0这个说明使用的redis的0号队列,如果有多个celery任务都使用同一个队列,则会造成任务混乱。最好是celery实例单独使用一个队列。

4.4创建APP

创建Django的App,名称为celery_task,在app目录下创建tasks.py文件。

完成后目录结构为:

├── celery_task
│ ├── admin.py
│ ├── apps.py
│ ├── __init__.py
│ ├── migrations
│ │ └── __init__.py
│ ├── models.py
│ ├── tasks.py
│ ├── tests.py
│ └── views.py
├── db.sqlite3
├── manage.py
├── proj
│ ├── celery.py
│ ├── __init__.py
│ ├── settings.py
│ ├── urls.py
│ └── wsgi.py
└── templates

4.5编写task任务

编辑任务文件

tasks.py

在tasks.py文件中添加下面代码

# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def add(x, y):
 return x + y
 
@shared_task
def mul(x, y):
 return x * y
 
@shared_task
def xsum(numbers):
 return sum(numbers)

启动celery:celery -A proj.mycelery worker -l info

说明:proj 为模块名称,mycelery 为celery 的实例所在的文件。

启动成功打印:

Django使用Celery异步任务队列的使用

4.6在views中调用任务

在views中编写接口,实现两个功能:

  1. 触发任务,然后返回任务的结果和任务ID
  2. 根据任务ID查询任务状态

代码如下:

Django使用Celery异步任务队列的使用

启动django。

新开一个会话启动celery;启动命令为:celery ?A proj.mycelery worker ?l info

访问 http://127.0.0.1:8000/add ,可以看到返回的结果。

Django使用Celery异步任务队列的使用

在celery运行的页面,可以看到下面输出:

Django使用Celery异步任务队列的使用

4.7在views中查询任务状态

有的时候任务执行时间较长,需要查询任务是否执行完成,可以根据任务的id来查询任务状态,根据状态进行下一步操作。

可以看到任务的状态为:SUCCESS

Django使用Celery异步任务队列的使用

5Celery定时任务

Celery作为异步任务队列,我们可以按照我们设置的时间,定时的执行一些任务,例如每日数据库备份,日志转存等。

Celery的定时任务配置非常简单:

定时任务的配置依然在setting.py文件中。

说明:如果觉得celery 的数据配置文件和Django 的都在setting.py 一个文件中不方便,可以分拆出来,只需要在mycelery.py 的文件中指明即可。

app.config_from_object('django.conf:yoursettingsfile', namespace='CELERY')

5.1任务间隔运行

#每30秒调用task.add
from datetime import timedelta

CELERY_BEAT_SCHEDULE = {
 'add-every-30-seconds': {
  'task': 'tasks.add',
  'schedule': timedelta(seconds=30),
  'args': (16, 16)
 },
}

5.2定时执行

定时每天早上7:30分运行。

注意:设置任务时间时注意时间格式,UTC时间或者本地时间。

#crontab任务
#每天7:30调用task.add
from celery.schedules import crontab

CELERY_BEAT_SCHEDULE = {
 # Executes every Monday morning at 7:30 A.M
 'add-every-monday-morning': {
  'task': 'tasks.add',
  'schedule': crontab(hour=7, minute=30),
  'args': (16, 16),
 },
}

5.3定时任务启动

配置了定时任务,除了worker进程外,还需要启动一个beat进程。

Beat进程的作用就相当于一个定时任务,根据配置来执行对应的任务。

5.3.1  启动beat进程

命令如下:celery -A proj.mycelery beat -l info

Django使用Celery异步任务队列的使用

5.3.2  启动worker进程

Worker进程启动和前面启动命令一样。celery ?A proj.mycelery worker ?l info

Django使用Celery异步任务队列的使用

6 Celery深入

Celery任务支持多样的运行模式:

  1. 支持动态指定并发数 --autoscale=10,3 (always keep 3 processes, but grow to 10 if necessary).
  2. 支持链式任务
  3. 支持Group任务
  4. 支持任务不同优先级
  5. 支持指定任务队列
  6. 支持使用eventlet模式运行worker

例如:指定并发数为1000

celery -A proj.mycelery worker -c 1000

这些可以根据使用的深入自行了解和学习。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的深拷贝和浅拷贝详解
Jun 03 Python
Python线程详解
Jun 24 Python
Python利用Beautiful Soup模块修改内容方法示例
Mar 27 Python
Python递归函数定义与用法示例
Jun 02 Python
Python使用sort和class实现的多级排序功能示例
Aug 15 Python
使用python的pandas库读取csv文件保存至mysql数据库
Aug 20 Python
python利用thrift服务读取hbase数据的方法
Dec 27 Python
解决Python找不到ssl模块问题 No module named _ssl的方法
Apr 29 Python
python数据分析工具之 matplotlib详解
Apr 09 Python
python中wx模块的具体使用方法
May 15 Python
Python下载的11种姿势(小结)
Nov 18 Python
python pygame入门教程
Jun 01 Python
特征脸(Eigenface)理论基础之PCA主成分分析法
Mar 13 #Python
python Celery定时任务的示例
Mar 13 #Python
人脸识别经典算法一 特征脸方法(Eigenface)
Mar 13 #Python
Python cookbook(数据结构与算法)从序列中移除重复项且保持元素间顺序不变的方法
Mar 13 #Python
Python+Django搭建自己的blog网站
Mar 13 #Python
python实现人脸识别经典算法(一) 特征脸法
Mar 13 #Python
tensorflow实现softma识别MNIST
Mar 12 #Python
You might like
php explode函数实例代码
2012/02/27 PHP
网页上facebook分享功能具体实现
2014/01/26 PHP
微信公众平台实现获取用户OpenID的方法
2015/04/15 PHP
Javascript 判断函数类型完美解决方案
2009/09/02 Javascript
getElementByIdx_x js自定义getElementById函数
2012/01/24 Javascript
Javascript图像处理—为矩阵添加常用方法
2012/12/27 Javascript
Jquery性能优化详解
2014/05/15 Javascript
javascript包装对象实例分析
2015/03/27 Javascript
对Web开发中前端框架与前端类库的一些思考
2015/03/27 Javascript
jquery实现滑屏大图定时收缩为小banner图片的广告代码
2015/09/02 Javascript
js异步编程小技巧详解
2017/08/14 Javascript
node下使用UglifyJS压缩合并JS文件的方法
2018/03/07 Javascript
vue项目中使用百度地图的方法
2018/06/08 Javascript
为jquery的ajax请求添加超时timeout时间的操作方法
2018/09/04 jQuery
微信小程序module.exports模块化操作实例浅析
2018/12/20 Javascript
AngularJS实现的自定义过滤器简单示例
2019/02/02 Javascript
express.js中间件说明详解
2019/03/19 Javascript
详解用场景去理解函数柯里化(入门篇)
2019/04/11 Javascript
node 解析图片二维码的内容代码实例
2019/09/11 Javascript
vue.js实现点击图标放大离开时缩小的代码
2021/01/27 Vue.js
Python基础之函数用法实例详解
2014/09/10 Python
python 实现删除文件或文件夹实例详解
2016/12/04 Python
python3如何将docx转换成pdf文件
2018/03/23 Python
Python3 获取文件属性的方式(时间、大小等)
2020/03/12 Python
parser.add_argument中的action使用
2020/04/20 Python
Pytorch mask-rcnn 实现细节分享
2020/06/24 Python
Python求区间正整数内所有素数之和的方法实例
2020/10/13 Python
浅析python实现动态规划背包问题
2020/12/31 Python
小学生检讨书大全
2014/02/06 职场文书
党员创先争优公开承诺书
2014/03/28 职场文书
读书伴我成长演讲稿
2014/05/07 职场文书
党员作风建设整改方案
2014/10/27 职场文书
世界红十字日活动总结
2015/02/10 职场文书
保险公司2016开门红口号集锦
2015/12/24 职场文书
mysql下的max_allowed_packet参数设置详解
2022/02/12 MySQL
win7配置本地ftp服务器的图文教程
2022/08/05 Servers