Django配置celery(非djcelery)执行异步任务和定时任务


Posted in Python onJuly 16, 2018

所有演示均基于Django2.0

celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:

  • 消息队列broker:broker实际上就是一个MQ队列服务,可以使用redis、rabbitmq等作为broker
  • 处理任务的消费者workers:broker通知worker队列中有任务,worker去队列中取出任务执行,每一个worker就是一个进程
  • 存储结果的backend:执行结果存储在backend,默认也会存储在broker使用的MQ队列服务中,也可以单独配置用何种服务做backend

Django配置celery(非djcelery)执行异步任务和定时任务

异步任务

我的异步使用场景为项目上线:前端web上有个上线按钮,点击按钮后发请求给后端,后端执行上线过程要5分钟,后端在接收到请求后把任务放入队列异步执行,同时马上返回给前端一个任务执行中的结果。若果没有异步执行会怎么样呢?同步的情况就是执行过程中前端一直在等后端返回结果,页面转呀转的就转超时了。

异步任务配置

1.安装rabbitmq,这里我们使用rabbitmq作为broker,安装完成后默认启动了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安装celery

# pip3 install celery

3.celery用在django项目中,django项目目录结构(简化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.创建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允许root 用户运行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各应用创建tasks.py文件,这里为 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必须建在各app的根目录下,且只能叫tasks.py,不能随意命名

7.views.py中引用使用这个tasks异步处理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.启动celery

# celery -A website worker -l info

9.这样在调用post这个方法时,里边的add就可以异步处理了

定时任务

定时任务的使用场景就很普遍了,比如我需要定时发送报告给老板~

定时任务配置

1. website/celery.py 文件添加如下配置以支持定时任务crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定义了两个task:

  • 名字为'sum-task'的task,每20秒执行一次add函数,并传了两个参数5和6
  • 名字为'send-report'的task,每周一早上4:30执行report函数

timedelta是datetime中的一个对象,需要 from datetime import timedelta 引入,有如下几个参数

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的参数有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行

# celery -A website beat -l info

Tips

1.如果你同时使用了异步任务和计划任务,有一种更简单的启动方式 celery -A website worker -b -l info ,可同时启动worker和beat

2.如果使用的不是rabbitmq做队列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用户启动的话需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在长时间运行后可能出现内存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每个worker执行了多少个任务就死掉

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中Django框架利用url来控制登录的方法
Jul 25 Python
python 计算数组中每个数字出现多少次--“Bucket”桶的思想
Dec 19 Python
python数据结构学习之实现线性表的顺序
Sep 28 Python
Python 获取项目根路径的代码
Sep 27 Python
python中栈的原理及实现方法示例
Nov 27 Python
python多线程使用方法实例详解
Dec 30 Python
对tensorflow中cifar-10文档的Read操作详解
Feb 10 Python
Python对wav文件的重采样实例
Feb 25 Python
python应用Axes3D绘图(批量梯度下降算法)
Mar 25 Python
Python基于Tkinter编写crc校验工具
May 06 Python
pip安装提示Twisted错误问题(Python3.6.4安装Twisted错误)
May 09 Python
Pandas中DataFrame交换列顺序的方法实现
Dec 14 Python
Python中的Django基本命令实例详解
Jul 15 #Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 #Python
python爬取哈尔滨天气信息
Jul 14 #Python
Python for循环中的陷阱详解
Jul 13 #Python
Python框架Flask的基本数据库操作方法分析
Jul 13 #Python
Python使用pickle模块实现序列化功能示例
Jul 13 #Python
mac下如何将python2.7改为python3
Jul 13 #Python
You might like
基于php下载文件的详解
2013/06/02 PHP
PHP中fwrite与file_put_contents性能测试代码
2013/08/02 PHP
php获取文件夹路径内的图片以及分页显示示例
2014/03/11 PHP
PHP curl使用实例
2015/07/02 PHP
轻松掌握php设计模式之访问者模式
2016/09/23 PHP
PHP 模拟登陆功能实例详解
2019/09/10 PHP
在表单提交前进行验证的几种方式整理
2013/07/31 Javascript
jQuery实现图片放大预览实现原理及代码
2013/09/12 Javascript
jQuery结合HTML5制作的爱心树表白动画
2015/02/01 Javascript
JavaScript控制图片加载完成后调用回调函数的方法
2015/03/20 Javascript
jQuery操作表单常用控件方法小结
2015/03/23 Javascript
JavaScript模拟可展开、拖动与关闭的聊天窗口实例
2015/05/12 Javascript
谈谈JSON对象和字符串之间的相互转换JSON.stringify(obj)和JSON.parse(string)
2015/10/01 Javascript
jQuery仿京东商城楼梯式导航定位菜单
2016/07/25 Javascript
关于Vue实现组件信息的缓存问题
2017/08/23 Javascript
vue、react等单页面项目应该这样子部署到服务器
2018/01/03 Javascript
bootstrap table实现横向合并与纵向合并
2019/07/18 Javascript
微信小程序实现左侧滑栏过程解析
2019/08/26 Javascript
jQuery实现判断滚动条滚动到document底部的方法分析
2019/08/27 jQuery
在Python的Django框架中显示对象子集的方法
2015/07/21 Python
python黑魔法之编码转换
2016/01/25 Python
Python实现的矩阵转置与矩阵相乘运算示例
2019/03/26 Python
详解Python并发编程之创建多线程的几种方法
2019/08/23 Python
Django 解决distinct无法去除重复数据的问题
2020/05/20 Python
python与c语言的语法有哪些不一样的
2020/09/13 Python
Html5获取高德地图定位天气的方法
2019/12/26 HTML / CSS
韩国CJ食品专卖网:CJonmart
2016/09/11 全球购物
阿联酋网上花店:Ferns N Petals
2018/02/14 全球购物
欧洲领先的技术商店:eibmarkt.com
2019/05/10 全球购物
畜牧兽医本科生个人的自我评价
2013/10/11 职场文书
汽车维修工岗位职责
2014/02/12 职场文书
经典安踏广告词
2014/03/21 职场文书
大学活动总结范文
2014/04/29 职场文书
三峡导游词
2015/01/31 职场文书
2015年城市管理工作总结
2015/05/23 职场文书
鸿蒙3.0体验感怎么样? 鸿蒙3.0系统评测向
2022/08/14 数码科技