Django使用Celery异步任务队列的使用


Posted in Python onMarch 13, 2018

1 Celery简介

Celery是异步任务队列,可以独立于主进程运行,在主进程退出后,也不影响队列中的任务执行。

任务执行异常退出,重新启动后,会继续执行队列中的其他任务,同时可以缓存停止期间接收的工作任务,这个功能依赖于消息队列(MQ、Redis)。

1.1 Celery原理

Django使用Celery异步任务队列的使用

Celery的 架构 由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

消息中间件:Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括, RabbitMQRedis ,  MongoDB  (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ。推荐使用:RabbitMQ、Redis作为消息队列。

任务执行单元:Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。

任务结果存储:Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, Redis,memcached, MongoDB,SQLAlchemy, Django ORM,Apache Cassandra, IronCache

1.2Celery适用场景

异步任务处理:例如给注册用户发送短消息或者确认邮件任务。 大型任务:执行时间较长的任务,例如视频和图片处理,添加水印和转码等,需要执行任务时间长。 定时执行的任务:支持任务的定时执行和设定时间执行。例如性能压测定时执行。

 2Celery开发环境准备

 2.1 环境准备

软件名称 版本号 说明
Linux Centos 6.5(64bit) 操作系统
Python 3.5.2
Django 1.10 Web框架
Celery 4.0.2 异步任务队列
Redis 2.4 消息队列

2.2     Celery安装

使用方法介绍:

Celery的运行依赖消息队列,使用时需要安装redis或者rabbit。

这里我们使用Redis。安装redis库:

sudo yum install redis

启动redis:

sudo service redis start

安装celery库

sudo pip install celery==4.0.2

3Celery单独执行任务

 3.1编写任务

创建task.py文件

说明:这里初始Celery实例时就加载了配置,使用的redis作为消息队列和存储任务结果。

Django使用Celery异步任务队列的使用

运行celery:

$ celery -A task worker --loglevel=info

看到下面的打印,说明celery成功运行。

Django使用Celery异步任务队列的使用

3.2 调用任务

直接打开python交互命令行

执行下面代码:

Django使用Celery异步任务队列的使用

可以celery的窗口看到任务的执行信息

Django使用Celery异步任务队列的使用

任务执行状态监控和获取结果:

Django使用Celery异步任务队列的使用

3.3任务调用方法总结

有两种方法:

delay和apply_async ,delay方法是apply_async简化版。

add.delay(2, 2)
add.apply_async((2, 2))
add.apply_async((2, 2), queue='lopri')

delay方法是apply_async简化版本。

apply_async方法是可以带非常多的配置参数,包括指定队列等

Queue 指定队列名称,可以把不同任务分配到不同的队列 3.4     任务状态

每个任务有三种状态:PENDING -> STARTED -> SUCCESS

任务查询状态:res.state

来查询任务的状态

Django使用Celery异步任务队列的使用

4与Django集成

上面简单介绍了celery异步任务的基本方法,结合我们实际的应用,我们需要与Django一起使用,下面介绍如何与Django结合。

4.1与Django集成方法

与Django集成有两种方法:

  1. Django 1.8 以上版本:与Celery 4.0版本集成
  2. Django 1.8 以下版本:与Celery3.1版本集成,使用django-celery库

今天我们介绍celery4.0 和django 1.8以上版本集成方法。

4.2 创建项目文件

创建一个项目:名字叫做proj

- proj/
 - proj/__init__.py
 - proj/settings.py
 - proj/urls.py
 - proj/wsgi.py
- manage.py

创建一个新的文件: proj/proj/mycelery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
 
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
 
app = Celery('proj')
 
# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
 
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

在proj/proj/__init__.py:添加

from __future__ import absolute_import, unicode_literals
 
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .mycelery import app as celery_app
 
__all__ = ['celery_app']

4.3 配置Celery

我们在mycelery.py文件中说明celery的配置文件在settings.py中,并且是以CELERY开头。

app.config_from_object('django.conf:settings', namespace='CELERY')

在settings.py文件中添加celery配置:

Django使用Celery异步任务队列的使用

我们的配置是使用redis作为消息队列,消息的代理和结果都是用redis,任务的序列化使用json格式。

重要:redis://127.0.0.1:6379/0这个说明使用的redis的0号队列,如果有多个celery任务都使用同一个队列,则会造成任务混乱。最好是celery实例单独使用一个队列。

4.4创建APP

创建Django的App,名称为celery_task,在app目录下创建tasks.py文件。

完成后目录结构为:

├── celery_task
│ ├── admin.py
│ ├── apps.py
│ ├── __init__.py
│ ├── migrations
│ │ └── __init__.py
│ ├── models.py
│ ├── tasks.py
│ ├── tests.py
│ └── views.py
├── db.sqlite3
├── manage.py
├── proj
│ ├── celery.py
│ ├── __init__.py
│ ├── settings.py
│ ├── urls.py
│ └── wsgi.py
└── templates

4.5编写task任务

编辑任务文件

tasks.py

在tasks.py文件中添加下面代码

# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def add(x, y):
 return x + y
 
@shared_task
def mul(x, y):
 return x * y
 
@shared_task
def xsum(numbers):
 return sum(numbers)

启动celery:celery -A proj.mycelery worker -l info

说明:proj 为模块名称,mycelery 为celery 的实例所在的文件。

启动成功打印:

Django使用Celery异步任务队列的使用

4.6在views中调用任务

在views中编写接口,实现两个功能:

  1. 触发任务,然后返回任务的结果和任务ID
  2. 根据任务ID查询任务状态

代码如下:

Django使用Celery异步任务队列的使用

启动django。

新开一个会话启动celery;启动命令为:celery ?A proj.mycelery worker ?l info

访问 http://127.0.0.1:8000/add ,可以看到返回的结果。

Django使用Celery异步任务队列的使用

在celery运行的页面,可以看到下面输出:

Django使用Celery异步任务队列的使用

4.7在views中查询任务状态

有的时候任务执行时间较长,需要查询任务是否执行完成,可以根据任务的id来查询任务状态,根据状态进行下一步操作。

可以看到任务的状态为:SUCCESS

Django使用Celery异步任务队列的使用

5Celery定时任务

Celery作为异步任务队列,我们可以按照我们设置的时间,定时的执行一些任务,例如每日数据库备份,日志转存等。

Celery的定时任务配置非常简单:

定时任务的配置依然在setting.py文件中。

说明:如果觉得celery 的数据配置文件和Django 的都在setting.py 一个文件中不方便,可以分拆出来,只需要在mycelery.py 的文件中指明即可。

app.config_from_object('django.conf:yoursettingsfile', namespace='CELERY')

5.1任务间隔运行

#每30秒调用task.add
from datetime import timedelta

CELERY_BEAT_SCHEDULE = {
 'add-every-30-seconds': {
  'task': 'tasks.add',
  'schedule': timedelta(seconds=30),
  'args': (16, 16)
 },
}

5.2定时执行

定时每天早上7:30分运行。

注意:设置任务时间时注意时间格式,UTC时间或者本地时间。

#crontab任务
#每天7:30调用task.add
from celery.schedules import crontab

CELERY_BEAT_SCHEDULE = {
 # Executes every Monday morning at 7:30 A.M
 'add-every-monday-morning': {
  'task': 'tasks.add',
  'schedule': crontab(hour=7, minute=30),
  'args': (16, 16),
 },
}

5.3定时任务启动

配置了定时任务,除了worker进程外,还需要启动一个beat进程。

Beat进程的作用就相当于一个定时任务,根据配置来执行对应的任务。

5.3.1  启动beat进程

命令如下:celery -A proj.mycelery beat -l info

Django使用Celery异步任务队列的使用

5.3.2  启动worker进程

Worker进程启动和前面启动命令一样。celery ?A proj.mycelery worker ?l info

Django使用Celery异步任务队列的使用

6 Celery深入

Celery任务支持多样的运行模式:

  1. 支持动态指定并发数 --autoscale=10,3 (always keep 3 processes, but grow to 10 if necessary).
  2. 支持链式任务
  3. 支持Group任务
  4. 支持任务不同优先级
  5. 支持指定任务队列
  6. 支持使用eventlet模式运行worker

例如:指定并发数为1000

celery -A proj.mycelery worker -c 1000

这些可以根据使用的深入自行了解和学习。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python遍历文件夹和读写文件的实现代码
Aug 28 Python
Python实现读取并保存文件的类
May 11 Python
Python爬虫实例爬取网站搞笑段子
Nov 08 Python
Python的SimpleHTTPServer模块用处及使用方法简介
Jan 22 Python
python实现淘宝秒杀聚划算抢购自动提醒源码
Jun 23 Python
python爬虫超时的处理的实例
Dec 19 Python
python3爬虫学习之数据存储txt的案例详解
Apr 24 Python
Django 请求Request的具体使用方法
Nov 11 Python
利用python实现AR教程
Nov 20 Python
flask 使用 flask_apscheduler 做定时循环任务的实现
Dec 10 Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
Jun 10 Python
一篇文章弄懂Python关键字、标识符和变量
Jul 15 Python
特征脸(Eigenface)理论基础之PCA主成分分析法
Mar 13 #Python
python Celery定时任务的示例
Mar 13 #Python
人脸识别经典算法一 特征脸方法(Eigenface)
Mar 13 #Python
Python cookbook(数据结构与算法)从序列中移除重复项且保持元素间顺序不变的方法
Mar 13 #Python
Python+Django搭建自己的blog网站
Mar 13 #Python
python实现人脸识别经典算法(一) 特征脸法
Mar 13 #Python
tensorflow实现softma识别MNIST
Mar 12 #Python
You might like
PHP中一个控制字符串输出的函数
2006/10/09 PHP
php基于dom实现的图书xml格式数据示例
2017/02/03 PHP
ubutu 16.04环境下,PHP与mysql数据库,网页登录验证实例讲解
2017/07/20 PHP
php 调用百度sms来发送短信的实现示例
2018/11/02 PHP
不错的JS中变量相关的细节分析
2007/08/13 Javascript
js 判断checkbox是否选中的操作方法
2012/11/09 Javascript
IE中图片的onload事件无效问题和解决方法
2014/06/06 Javascript
js实现简单选项卡与自动切换效果的方法
2015/04/10 Javascript
JS采用绝对定位实现回到顶部效果完整实例
2016/06/20 Javascript
JS获取当前页面名称的简单实例
2016/08/19 Javascript
详解ECharts使用心得总结
2016/12/06 Javascript
完美解决JS文件页面加载时的阻塞问题
2016/12/18 Javascript
原生js获取浏览器窗口及元素宽高常用方法集合
2017/01/18 Javascript
Angular中管道操作符(|)的使用方法
2017/12/15 Javascript
Vue CLI3.0中使用jQuery和Bootstrap的方法
2019/02/28 jQuery
解决vue自定义全局消息框组件问题
2019/11/22 Javascript
NUXT SSR初级入门笔记(小结)
2019/12/16 Javascript
javascript将扁平的数据转为树形结构的高效率算法
2020/02/27 Javascript
[04:00]黄浦江畔,再会英雄——完美世界DOTA2 TI9应援视频
2019/07/31 DOTA
python中map()与zip()操作方法
2016/02/27 Python
浅析python中SQLAlchemy排序的一个坑
2017/02/24 Python
解析Python中的eval()、exec()及其相关函数
2017/12/20 Python
Python实现数据结构线性链表(单链表)算法示例
2019/05/04 Python
使用Python paramiko模块利用多线程实现ssh并发执行操作
2019/12/05 Python
python GUI库图形界面开发之PyQt5中QWebEngineView内嵌网页与Python的数据交互传参详细方法实例
2020/02/26 Python
html5 初试 indexedDB(推荐)
2016/07/21 HTML / CSS
加拿大高尔夫超市:Golf Town
2018/01/12 全球购物
求职信的七个关键技巧
2014/02/05 职场文书
事业单位竞聘上岗实施方案
2014/03/28 职场文书
促销活动计划书
2014/05/02 职场文书
党的群众路线教育实践活动宣传标语口号
2014/06/06 职场文书
党员批评与自我批评材料
2014/10/14 职场文书
学籍证明模板
2015/06/18 职场文书
用几道面试题来看JavaScript执行机制
2021/04/30 Javascript
Python下载商品数据并连接数据库且保存数据
2022/03/31 Python
SQL Server中锁的用法
2022/05/20 SQL Server