Django配置celery(非djcelery)执行异步任务和定时任务


Posted in Python onJuly 16, 2018

所有演示均基于Django2.0

celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:

  • 消息队列broker:broker实际上就是一个MQ队列服务,可以使用redis、rabbitmq等作为broker
  • 处理任务的消费者workers:broker通知worker队列中有任务,worker去队列中取出任务执行,每一个worker就是一个进程
  • 存储结果的backend:执行结果存储在backend,默认也会存储在broker使用的MQ队列服务中,也可以单独配置用何种服务做backend

Django配置celery(非djcelery)执行异步任务和定时任务

异步任务

我的异步使用场景为项目上线:前端web上有个上线按钮,点击按钮后发请求给后端,后端执行上线过程要5分钟,后端在接收到请求后把任务放入队列异步执行,同时马上返回给前端一个任务执行中的结果。若果没有异步执行会怎么样呢?同步的情况就是执行过程中前端一直在等后端返回结果,页面转呀转的就转超时了。

异步任务配置

1.安装rabbitmq,这里我们使用rabbitmq作为broker,安装完成后默认启动了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安装celery

# pip3 install celery

3.celery用在django项目中,django项目目录结构(简化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.创建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允许root 用户运行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各应用创建tasks.py文件,这里为 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必须建在各app的根目录下,且只能叫tasks.py,不能随意命名

7.views.py中引用使用这个tasks异步处理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.启动celery

# celery -A website worker -l info

9.这样在调用post这个方法时,里边的add就可以异步处理了

定时任务

定时任务的使用场景就很普遍了,比如我需要定时发送报告给老板~

定时任务配置

1. website/celery.py 文件添加如下配置以支持定时任务crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定义了两个task:

  • 名字为'sum-task'的task,每20秒执行一次add函数,并传了两个参数5和6
  • 名字为'send-report'的task,每周一早上4:30执行report函数

timedelta是datetime中的一个对象,需要 from datetime import timedelta 引入,有如下几个参数

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的参数有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行

# celery -A website beat -l info

Tips

1.如果你同时使用了异步任务和计划任务,有一种更简单的启动方式 celery -A website worker -b -l info ,可同时启动worker和beat

2.如果使用的不是rabbitmq做队列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用户启动的话需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在长时间运行后可能出现内存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每个worker执行了多少个任务就死掉

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现apahce网站日志分析示例
Apr 02 Python
python中的五种异常处理机制介绍
Sep 02 Python
在Python中使用matplotlib模块绘制数据图的示例
May 04 Python
Python实现针对给定单链表删除指定节点的方法
Apr 12 Python
python队列queue模块详解
Apr 27 Python
python实现超市扫码仪计费
May 30 Python
Pandas 同元素多列去重的实例
Jul 03 Python
python实现屏保计时器的示例代码
Aug 08 Python
如何在Django中设置定时任务的方法示例
Jan 18 Python
Python模拟登录之滑块验证码的破解(实例代码)
Nov 18 Python
Mac 使用python3的matplot画图不显示的解决
Nov 23 Python
PyCharm 配置SSH和SFTP连接远程服务器
May 11 Python
Python中的Django基本命令实例详解
Jul 15 #Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 #Python
python爬取哈尔滨天气信息
Jul 14 #Python
Python for循环中的陷阱详解
Jul 13 #Python
Python框架Flask的基本数据库操作方法分析
Jul 13 #Python
Python使用pickle模块实现序列化功能示例
Jul 13 #Python
mac下如何将python2.7改为python3
Jul 13 #Python
You might like
CMS中PHP判断系统是否已经安装的方法示例
2014/07/26 PHP
php函数serialize()与unserialize()用法实例
2014/11/06 PHP
php实现比较两个字符串日期大小的方法
2015/05/12 PHP
PHP的APC模块实现上传进度条
2015/10/27 PHP
Nigma vs Liquid BO3 第一场2.14
2021/03/10 DOTA
静态的动态续篇之来点XML
2006/08/15 Javascript
判断目标是否是window,document,和拥有tagName的Element的代码
2010/05/31 Javascript
关于jquery append() html时的小问题的解决方法
2010/12/16 Javascript
说明你的Javascript技术很烂的五个原因
2011/04/26 Javascript
为什么要在引入的css或者js文件后面加参数的详细讲解
2013/05/03 Javascript
jquery修改属性值实例代码(设置属性值)
2014/01/06 Javascript
$(document).ready(function() {})不执行初始化脚本
2014/06/19 Javascript
JavaScript 学习笔记之语句
2015/01/14 Javascript
原生JavaScript实现瀑布流布局
2020/06/28 Javascript
Vue.js学习示例分享
2017/02/05 Javascript
jQuery实现的粘性滚动导航栏效果实例【附源码下载】
2017/10/19 jQuery
AngularJs点击状态值改变背景色的实例
2017/12/18 Javascript
Vue的土著指令和自定义指令实例详解
2018/02/04 Javascript
浅析JavaScript预编译和暗示全局变量
2020/09/03 Javascript
[01:05:29]DOTA2-DPC中国联赛 正赛 PSG.LGD vs Aster BO3 第二场 1月24日
2021/03/11 DOTA
Python下Fabric的简单部署方法
2015/07/14 Python
Python3使用requests发闪存的方法
2016/05/11 Python
使用python实现http及ftp服务进行数据传输的方法
2018/10/26 Python
python3使用flask编写注册post接口的方法
2018/12/28 Python
Pytorch实现将模型的所有参数的梯度清0
2020/06/24 Python
python实现npy格式文件转换为txt文件操作
2020/07/01 Python
Python常用外部指令执行代码实例
2020/11/05 Python
python中的列表和元组区别分析
2020/12/30 Python
美国户外生活方式品牌:Eddie Bauer
2016/12/28 全球购物
俄罗斯优惠券网站:BIGLION
2017/05/21 全球购物
意大利奢华内衣制造商:Cosabella
2017/08/29 全球购物
Guess美国官网:美国知名服装品牌
2019/04/08 全球购物
中学教师实习自我鉴定
2013/09/28 职场文书
2014法院干警廉洁警示教育思想汇报
2014/09/13 职场文书
高中生社会实践心得体会
2016/01/14 职场文书
springboot新建项目pom.xml文件第一行报错的解决
2022/01/18 Java/Android