Django配置celery(非djcelery)执行异步任务和定时任务


Posted in Python onJuly 16, 2018

所有演示均基于Django2.0

celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:

  • 消息队列broker:broker实际上就是一个MQ队列服务,可以使用redis、rabbitmq等作为broker
  • 处理任务的消费者workers:broker通知worker队列中有任务,worker去队列中取出任务执行,每一个worker就是一个进程
  • 存储结果的backend:执行结果存储在backend,默认也会存储在broker使用的MQ队列服务中,也可以单独配置用何种服务做backend

Django配置celery(非djcelery)执行异步任务和定时任务

异步任务

我的异步使用场景为项目上线:前端web上有个上线按钮,点击按钮后发请求给后端,后端执行上线过程要5分钟,后端在接收到请求后把任务放入队列异步执行,同时马上返回给前端一个任务执行中的结果。若果没有异步执行会怎么样呢?同步的情况就是执行过程中前端一直在等后端返回结果,页面转呀转的就转超时了。

异步任务配置

1.安装rabbitmq,这里我们使用rabbitmq作为broker,安装完成后默认启动了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安装celery

# pip3 install celery

3.celery用在django项目中,django项目目录结构(简化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.创建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允许root 用户运行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各应用创建tasks.py文件,这里为 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必须建在各app的根目录下,且只能叫tasks.py,不能随意命名

7.views.py中引用使用这个tasks异步处理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.启动celery

# celery -A website worker -l info

9.这样在调用post这个方法时,里边的add就可以异步处理了

定时任务

定时任务的使用场景就很普遍了,比如我需要定时发送报告给老板~

定时任务配置

1. website/celery.py 文件添加如下配置以支持定时任务crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定义了两个task:

  • 名字为'sum-task'的task,每20秒执行一次add函数,并传了两个参数5和6
  • 名字为'send-report'的task,每周一早上4:30执行report函数

timedelta是datetime中的一个对象,需要 from datetime import timedelta 引入,有如下几个参数

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的参数有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行

# celery -A website beat -l info

Tips

1.如果你同时使用了异步任务和计划任务,有一种更简单的启动方式 celery -A website worker -b -l info ,可同时启动worker和beat

2.如果使用的不是rabbitmq做队列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用户启动的话需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在长时间运行后可能出现内存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每个worker执行了多少个任务就死掉

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pyv8学习python和javascript变量进行交互
Dec 04 Python
centos系统升级python 2.7.3
Jul 03 Python
PyMongo安装使用笔记
Apr 27 Python
Python设计模式编程中解释器模式的简单程序示例分享
Mar 02 Python
Python性能提升之延迟初始化
Dec 04 Python
python下PyGame的下载与安装过程及遇到问题
Aug 04 Python
python3.7将代码打包成exe程序并添加图标的方法
Oct 11 Python
python 上下文管理器及自定义原理解析
Nov 19 Python
Python 实现自动获取种子磁力链接方式
Jan 16 Python
Python读取文件内容为字符串的方法(多种方法详解)
Mar 04 Python
用Python的绘图库(matplotlib)绘制小波能量谱
Apr 17 Python
如何使用pdb进行Python调试
Jun 30 Python
Python中的Django基本命令实例详解
Jul 15 #Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 #Python
python爬取哈尔滨天气信息
Jul 14 #Python
Python for循环中的陷阱详解
Jul 13 #Python
Python框架Flask的基本数据库操作方法分析
Jul 13 #Python
Python使用pickle模块实现序列化功能示例
Jul 13 #Python
mac下如何将python2.7改为python3
Jul 13 #Python
You might like
MYSQL 小技巧 -- LAST_INSERT_ID
2009/11/24 PHP
兼容PHP和Java的des加密解密代码分享
2014/06/26 PHP
php版微信公众号自定义分享内容实现方法
2016/09/22 PHP
PHP7.0连接DB操作实例分析【基于mysqli】
2019/09/26 PHP
PHP设计模式之命令模式示例详解
2020/12/20 PHP
js 中 document.createEvent的用法
2010/08/29 Javascript
jQuery代码优化 遍历篇
2011/11/01 Javascript
JavaScript 高级篇之函数 (四)
2012/04/07 Javascript
js动态为代码着色显示行号
2013/05/29 Javascript
JavaScript实现多维数组的方法
2013/11/20 Javascript
jQuery源码解读之removeAttr()方法分析
2015/02/20 Javascript
使用 TypeScript 重新编写的 JavaScript 坦克大战游戏代码
2015/04/07 Javascript
JS使用parseInt解析数字实现求和的方法
2015/08/05 Javascript
JS实现自动切换文字的导航效果代码
2015/08/27 Javascript
jQuery语法小结(超实用)
2015/12/31 Javascript
Bootstrap CSS组件之面包屑导航(breadcrumb)
2016/12/17 Javascript
jQuery插件jqGrid动态获取列和列字段的方法
2017/03/03 Javascript
详谈js中标准for循环与foreach(for in)的区别
2017/11/02 Javascript
layui table单元格事件修改值的方法
2019/09/24 Javascript
JS实现吸顶特效
2020/01/08 Javascript
Python列表(list)常用操作方法小结
2015/02/02 Python
python实现批量改文件名称的方法
2015/05/25 Python
Python使用Mechanize模块编写爬虫的要点解析
2016/03/31 Python
Python实现多进程的四种方式
2019/02/22 Python
linux下python中文乱码解决方案详解
2019/08/28 Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
2019/09/20 Python
详解Python3迁移接口变化采坑记
2019/10/11 Python
Python decorator拦截器代码实例解析
2020/04/04 Python
python实现批量命名照片
2020/06/18 Python
Sperry官网:帆船鞋创始品牌
2016/09/07 全球购物
澳大利亚女装精品店:Alannah Hill
2020/07/29 全球购物
2014年五四青年节演讲比赛方案
2014/04/22 职场文书
反腐倡廉剖析材料
2014/09/30 职场文书
2015年大学元旦晚会活动策划书
2014/12/09 职场文书
高中数学教学反思范文
2016/02/18 职场文书
Python数据可视化之用Matplotlib绘制常用图形
2021/06/03 Python