Django配置celery(非djcelery)执行异步任务和定时任务


Posted in Python onJuly 16, 2018

所有演示均基于Django2.0

celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:

  • 消息队列broker:broker实际上就是一个MQ队列服务,可以使用redis、rabbitmq等作为broker
  • 处理任务的消费者workers:broker通知worker队列中有任务,worker去队列中取出任务执行,每一个worker就是一个进程
  • 存储结果的backend:执行结果存储在backend,默认也会存储在broker使用的MQ队列服务中,也可以单独配置用何种服务做backend

Django配置celery(非djcelery)执行异步任务和定时任务

异步任务

我的异步使用场景为项目上线:前端web上有个上线按钮,点击按钮后发请求给后端,后端执行上线过程要5分钟,后端在接收到请求后把任务放入队列异步执行,同时马上返回给前端一个任务执行中的结果。若果没有异步执行会怎么样呢?同步的情况就是执行过程中前端一直在等后端返回结果,页面转呀转的就转超时了。

异步任务配置

1.安装rabbitmq,这里我们使用rabbitmq作为broker,安装完成后默认启动了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安装celery

# pip3 install celery

3.celery用在django项目中,django项目目录结构(简化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.创建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允许root 用户运行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各应用创建tasks.py文件,这里为 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必须建在各app的根目录下,且只能叫tasks.py,不能随意命名

7.views.py中引用使用这个tasks异步处理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.启动celery

# celery -A website worker -l info

9.这样在调用post这个方法时,里边的add就可以异步处理了

定时任务

定时任务的使用场景就很普遍了,比如我需要定时发送报告给老板~

定时任务配置

1. website/celery.py 文件添加如下配置以支持定时任务crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定义了两个task:

  • 名字为'sum-task'的task,每20秒执行一次add函数,并传了两个参数5和6
  • 名字为'send-report'的task,每周一早上4:30执行report函数

timedelta是datetime中的一个对象,需要 from datetime import timedelta 引入,有如下几个参数

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的参数有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行

# celery -A website beat -l info

Tips

1.如果你同时使用了异步任务和计划任务,有一种更简单的启动方式 celery -A website worker -b -l info ,可同时启动worker和beat

2.如果使用的不是rabbitmq做队列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用户启动的话需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在长时间运行后可能出现内存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每个worker执行了多少个任务就死掉

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 命令行参数sys.argv
Sep 06 Python
使用PYTHON创建XML文档
Mar 01 Python
Python中urllib2模块的8个使用细节分享
Jan 01 Python
Python安装第三方库的3种方法
Jun 21 Python
Python实现读写sqlite3数据库并将统计数据写入Excel的方法示例
Aug 07 Python
浅谈DataFrame和SparkSql取值误区
Jun 09 Python
python 文本单词提取和词频统计的实例
Dec 22 Python
Python中的集合介绍
Jan 28 Python
Python爬虫实现的根据分类爬取豆瓣电影信息功能示例
Sep 15 Python
Python装饰器使用你可能不知道的几种姿势
Oct 25 Python
详解Open Folder as PyCharm Project怎么添加的方法
Dec 29 Python
Python关于拓扑排序知识点讲解
Jan 04 Python
Python中的Django基本命令实例详解
Jul 15 #Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 #Python
python爬取哈尔滨天气信息
Jul 14 #Python
Python for循环中的陷阱详解
Jul 13 #Python
Python框架Flask的基本数据库操作方法分析
Jul 13 #Python
Python使用pickle模块实现序列化功能示例
Jul 13 #Python
mac下如何将python2.7改为python3
Jul 13 #Python
You might like
利用discuz实现PHP大文件上传应用实例代码
2008/11/14 PHP
codeigniter使用技巧批量插入数据实例方法分享
2013/12/31 PHP
使用Discuz关键词服务器实现PHP中文分词
2014/03/11 PHP
PHP编程计算文件或数组中单词出现频率的方法
2017/05/22 PHP
PHP实现微信对账单处理
2018/10/01 PHP
PHP中单例模式的使用场景与使用方法讲解
2019/03/18 PHP
javascript图像处理—仿射变换深度理解
2013/01/16 Javascript
你必须知道的JavaScript 变量命名规则详解
2013/05/07 Javascript
简单选项卡 js和jquery制作方法分享
2014/02/26 Javascript
bootstrap基础知识学习笔记
2016/11/02 Javascript
Angular 输入框实现自定义验证功能
2017/02/19 Javascript
微信小程序实现图片懒加载的示例代码
2017/12/13 Javascript
微信小程序之分享页面如何返回首页的示例
2018/03/28 Javascript
你知道JavaScript Symbol类型怎么用吗
2020/01/08 Javascript
JavaScript检测浏览器是否支持CSS变量代码实例
2020/04/03 Javascript
[08:44]DOTA2发布会群星聚首 我们都是刀塔人
2014/03/21 DOTA
Python IDE PyCharm的基本快捷键和配置简介
2015/11/04 Python
从局部变量和全局变量开始全面解析Python中变量的作用域
2016/06/16 Python
Python+selenium实现截图图片并保存截取的图片
2018/01/05 Python
python字典快速保存于读取的方法
2018/03/23 Python
基于django ManyToMany 使用的注意事项详解
2019/08/09 Python
DJango的创建和使用详解(默认数据库sqlite3)
2019/11/18 Python
Python字节单位转换实例
2019/12/05 Python
基于Pytorch SSD模型分析
2020/02/18 Python
Python如何实现定时器功能
2020/05/28 Python
python3 中使用urllib问题以及urllib详解
2020/08/03 Python
Django Admin后台模型列表页面如何添加自定义操作按钮
2020/11/11 Python
Simons官方网站:加拿大时尚零售商
2020/02/20 全球购物
mysql_pconnect()和mysql_connect()有什么区别
2012/05/25 面试题
优秀求职信
2014/05/29 职场文书
2014年社区宣传工作总结
2014/12/02 职场文书
党员干部学习三严三实心得体会
2016/01/05 职场文书
Python词云的正确实现方法实例
2021/05/08 Python
Python标准库之typing的用法(类型标注)
2021/06/02 Python
Python实现文字pdf转换图片pdf效果
2022/04/03 Python
Java 轮询锁使用时遇到问题
2022/05/11 Java/Android