Django配置celery(非djcelery)执行异步任务和定时任务


Posted in Python onJuly 16, 2018

所有演示均基于Django2.0

celery是一个基于python开发的简单、灵活且可靠的分布式任务队列框架,支持使用任务队列的方式在分布式的机器/进程/线程上执行任务调度。采用典型的生产者-消费者模型,主要由三部分组成:

  • 消息队列broker:broker实际上就是一个MQ队列服务,可以使用redis、rabbitmq等作为broker
  • 处理任务的消费者workers:broker通知worker队列中有任务,worker去队列中取出任务执行,每一个worker就是一个进程
  • 存储结果的backend:执行结果存储在backend,默认也会存储在broker使用的MQ队列服务中,也可以单独配置用何种服务做backend

Django配置celery(非djcelery)执行异步任务和定时任务

异步任务

我的异步使用场景为项目上线:前端web上有个上线按钮,点击按钮后发请求给后端,后端执行上线过程要5分钟,后端在接收到请求后把任务放入队列异步执行,同时马上返回给前端一个任务执行中的结果。若果没有异步执行会怎么样呢?同步的情况就是执行过程中前端一直在等后端返回结果,页面转呀转的就转超时了。

异步任务配置

1.安装rabbitmq,这里我们使用rabbitmq作为broker,安装完成后默认启动了,也不需要其他任何配置

# apt-get install rabbitmq-server

2.安装celery

# pip3 install celery

3.celery用在django项目中,django项目目录结构(简化)如下

website/
|-- deploy
|  |-- admin.py
|  |-- apps.py
|  |-- __init__.py
|  |-- models.py
|  |-- tasks.py
|  |-- tests.py
|  |-- urls.py
|  `-- views.py
|-- manage.py
|-- README
`-- website
  |-- celery.py
  |-- __init__.py
  |-- settings.py
  |-- urls.py
  `-- wsgi.py

4.创建 website/celery.py 主文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'website.settings')

app = Celery('website')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#  should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# 允许root 用户运行celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.在 website/__init__.py 文件中增加如下内容,确保django启动的时候这个app能够被加载到

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

6.各应用创建tasks.py文件,这里为 deploy/tasks.py

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
  return x + y

注意tasks.py必须建在各app的根目录下,且只能叫tasks.py,不能随意命名

7.views.py中引用使用这个tasks异步处理

from deploy.tasks import add

def post(request):
  result = add.delay(2, 3)
result.ready()
result.get(timeout=1)
result.traceback

8.启动celery

# celery -A website worker -l info

9.这样在调用post这个方法时,里边的add就可以异步处理了

定时任务

定时任务的使用场景就很普遍了,比如我需要定时发送报告给老板~

定时任务配置

1. website/celery.py 文件添加如下配置以支持定时任务crontab

from celery.schedules import crontab

app.conf.update(
  CELERYBEAT_SCHEDULE = {
    'sum-task': {
      'task': 'deploy.tasks.add',
      'schedule': timedelta(seconds=20),
      'args': (5, 6)
    }
    'send-report': {
      'task': 'deploy.tasks.report',
      'schedule': crontab(hour=4, minute=30, day_of_week=1),
    }
  }
)

定义了两个task:

  • 名字为'sum-task'的task,每20秒执行一次add函数,并传了两个参数5和6
  • 名字为'send-report'的task,每周一早上4:30执行report函数

timedelta是datetime中的一个对象,需要 from datetime import timedelta 引入,有如下几个参数

  • days
  • seconds
  • microseconds
  • milliseconds
  • minutes
  • hours

crontab的参数有:

month_of_year
day_of_month
day_of_week
hour
minute

2. deploy/tasks.py 文件添加report方法:

@shared_task
def report():
  return 5

3.启动celery beat,celery启动了一个beat进程一直在不断的判断是否有任务需要执行

# celery -A website beat -l info

Tips

1.如果你同时使用了异步任务和计划任务,有一种更简单的启动方式 celery -A website worker -b -l info ,可同时启动worker和beat

2.如果使用的不是rabbitmq做队列那么需要在主配置文件中 website/celery.py 配置broker和backend,如下:

# redis做MQ配置
app = Celery('website', backend='redis', broker='redis://localhost')
# rabbitmq做MQ配置
app = Celery('website', backend='amqp', broker='amqp://admin:admin@localhost')

3.celery不能用root用户启动的话需要在主配置文件中添加 platforms.C_FORCE_ROOT = True

4.celery在长时间运行后可能出现内存泄漏,需要添加配置 CELERYD_MAX_TASKS_PER_CHILD = 10 ,表示每个worker执行了多少个任务就死掉

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python list元素为tuple时的排序方法
Apr 18 Python
redis之django-redis的简单缓存使用
Jun 07 Python
python简易实现任意位数的水仙花实例
Nov 13 Python
Python 串口读写的实现方法
Jun 12 Python
pytz格式化北京时间多出6分钟问题的解决方法
Jun 21 Python
利用Python检测URL状态
Jul 31 Python
详谈tensorflow gfile文件的用法
Feb 05 Python
解决python父线程关闭后子线程不关闭问题
Apr 25 Python
聊聊python中的异常嵌套
Sep 01 Python
用Python提取PDF表格的方法
Apr 11 Python
Anaconda安装pytorch及配置PyCharm 2021环境
Jun 04 Python
Django + Taro 前后端分离项目实现企业微信登录功能
Apr 07 Python
Python中的Django基本命令实例详解
Jul 15 #Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 #Python
python爬取哈尔滨天气信息
Jul 14 #Python
Python for循环中的陷阱详解
Jul 13 #Python
Python框架Flask的基本数据库操作方法分析
Jul 13 #Python
Python使用pickle模块实现序列化功能示例
Jul 13 #Python
mac下如何将python2.7改为python3
Jul 13 #Python
You might like
解决GD中文乱码问题
2007/02/14 PHP
php urlencode()与urldecode()函数字符编码原理详解
2011/12/06 PHP
PHP include任意文件或URL介绍
2014/04/29 PHP
php实现基于微信公众平台开发SDK(demo)扩展的方法
2014/12/22 PHP
PHP生成短网址方法汇总
2016/07/12 PHP
php利用array_search与array_column实现二维数组查找
2019/07/08 PHP
javascript 24小时弹出一次的代码(利用cookies)
2009/09/03 Javascript
Mootools 1.2教程 滑动效果(Slide)
2009/09/15 Javascript
JSP跨iframe如何传递参数实现代码
2013/09/21 Javascript
最好用的省市二级联动 原生js实现你值得拥有
2013/09/22 Javascript
将form表单中的元素转换成对象的方法适用表单提交
2014/05/02 Javascript
jQuery实现不断闪烁文字的方法
2015/05/15 Javascript
IE8兼容Jquery.validate.js的问题
2016/12/01 Javascript
使用JavaScript触发过渡效果的方法
2017/01/19 Javascript
jQuery文字轮播特效
2017/02/12 Javascript
微信小程序 PHP生成带参数二维码
2017/02/21 Javascript
Angular2数据绑定详解
2017/04/18 Javascript
jQuery模拟实现天猫购物车动画效果实例代码
2017/05/25 jQuery
详解Vue2中组件间通信的解决全方案
2017/07/28 Javascript
vue里的data要用return返回的原因浅析
2019/05/28 Javascript
JavaScript鼠标悬停事件用法解析
2020/05/15 Javascript
基于脚手架创建Vue项目实现步骤详解
2020/08/03 Javascript
Python实现脚本锁功能(同时只能执行一个脚本)
2017/05/10 Python
Python实现的人工神经网络算法示例【基于反向传播算法】
2017/11/11 Python
Python删除n行后的其他行方法
2019/01/28 Python
Python大数据之使用lxml库解析html网页文件示例
2019/11/16 Python
CSS3径向渐变之大鱼吃小鱼之孤单的大鱼
2016/04/26 HTML / CSS
意大利奢侈品网站:Italist
2016/08/23 全球购物
阿迪达斯印度官方商城:adidas India
2017/03/26 全球购物
值类型与引用类型有什么不同?请举例说明?并分别列举几种相应的数据类型
2015/10/24 面试题
计算机应用毕业生自荐信
2013/10/23 职场文书
老公爱的承诺书
2014/03/31 职场文书
小学优秀班主任材料
2014/12/17 职场文书
世界各国短波电台对东亚播送时间频率表(SW)
2021/06/28 无线电
Ruby处理YAML和json数据
2022/04/18 Ruby
Python实现聚类K-means算法详解
2022/07/15 Python