Django+Celery实现动态配置定时任务的方法示例


Posted in Python onMay 26, 2020

哈喽,今天给大家分享一篇Django+Celery实现动态配置定时任务,因为最近也是无意间看到一位大佬关于这块的文章,然后自己觉得不错,也想学习写一下,然后最终实现功能是在前端页面统一管理计划任务,大家可以在admin管理页面设置,也可以在自己写的前端页面删除添加编辑,实时生效,还可以监控这些监控任务是否运行成功失败。

补充:如果大家对celery不熟悉的话,建议先学习celery

Django+Celery实现动态配置定时任务的方法示例

一、安装

1.在Linux系统上安装模块

celery (3.1.26.post2)
celery-with-redis (3.0)
redis (2.10.6)
Django (2.1.10)
django-celery (3.3.1)

2.迁移生成表

python manage.py migrate

3.查看生成的表,这几张表是上面执行命令后生成的

Django+Celery实现动态配置定时任务的方法示例

二、配置

1.添加apps

INSTALLED_APPS = [
  'django.contrib.admin',
  'django.contrib.auth',
  'django.contrib.contenttypes',
  'django.contrib.sessions',
  'django.contrib.messages',
  'django.contrib.staticfiles',
  'djcelery',  #这是要添加的
]

2.配置django时区

LANGUAGE_CODE = 'en-us'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False

3.Celery配置

BROKER_URL = 'redis://localhost:6379' #代理人
CELERY_RESULT_BACKEND = 'redis://localhost:6379' #结果存储地址
CELERY_ACCEPT_CONTENT = ['application/json'] #指定任务接收的内容序列化类型
CELERY_TASK_SERIALIZER = 'json' #任务序列化方式
CELERY_RESULT_SERIALIZER = 'json' #任务结果序列化方式
CELERY_TASK_RESULT_EXPIRES = 12 * 30 #超过时间
CELERY_MESSAGE_COMPRESSION = 'zlib' #是否压缩
CELERYD_CONCURRENCY = 4 #并发数默认已CPU数量定
CELERYD_PREFETCH_MULTIPLIER = 4 #celery worker 每次去redis取任务的数量
CELERYD_MAX_TASKS_PER_CHILD = 3 #每个worker最多执行3个任务就摧毁,避免内存泄漏
CELERYD_FORCE_EXECV = True #可以防止死锁
CELERY_ENABLE_UTC = False #关闭时区
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 定时任务调度器

4.在你项目的app下面配置celery.py

import os
from celery import Celery,platforms
from django.conf import settings
os.environ.setdefault('DJANGO_SETTINGS_MODULE','blog.settings')
app = Celery('blog')
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.配置刚才app下面的__init__.py文件

from __future__ import absolute_import
from .celery import app as celery_app

6.在app下面创建一个tasks.py文件

from blog.celery import app
@app.task()
def get_date(x,y,s):#这里的函数留意一下,后面会用到
  print(s)
  return x + y

@app.task()
def get_task():
  return 'test'

@app.task()
def get_command_task():
  return 'success'

三、启动

1.进入你项目下面,执行启动worker,Worker是执行任务的单元,它实时监控消息队列,如果有任务就获取任务并执行它。

celery -A autoops worker -l info

2.进入你项目下面,执行启动beat,beat是定时把这个任务扔到队列中

celery -A autoops beat -l info

3.启动你的django项目

python manage.py runserver 192.168.10.133:8001

4.页面展示

4.1这个是admin页面下的,然后我自己重新写了,大家也可以自己写一个,admin和我自己写的页面实现的功能其实是一模一样的。

Django+Celery实现动态配置定时任务的方法示例

4.2.对应admin页面的crontabs

Django+Celery实现动态配置定时任务的方法示例

添加周期

Django+Celery实现动态配置定时任务的方法示例

编辑修改周期

Django+Celery实现动态配置定时任务的方法示例

5.tasks任务

5.1.大家可以看到我添加了一个名为测试的任务,每隔一分钟执行一次,任务模板其实就是你写的tasks文件里面函数

Django+Celery实现动态配置定时任务的方法示例

Django+Celery实现动态配置定时任务的方法示例

看一下worker进程日志输出

Django+Celery实现动态配置定时任务的方法示例

四、监控计划任务

celery作为一个分布式异步任务队列管理工具,通过界面化的方式来进行管控任务的执行状态和查看任务执行结果

flower作为web页面来管理celery后台任务,和任务队列是隔离的,也就是flower的运行与否并不会影响到任务队列的真正执行,但是flower中可以通过API接口来管理celery中的任务执行。

4.1安装flower,监控celery计划任务

pip3 install flower==0.9.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip install tornado==5.1.1
celery flower -A blog --port=5555 #进入项目目录启动flower

4.2打开浏览器,输入http://ip:5555 查看

Django+Celery实现动态配置定时任务的方法示例

Name: 表示该任务的名称,默认规则为该函数的路径规则,例如 {模块名}.{文件名}.{函数名}
UUID: 表示一个唯一字符串ID用于表示该任务
State: 表示该任务的状态,包括: SUCCESS / FAILURE / STARTED / RECEIVED
SUCCESS 表示该任务执行完毕且成功
FAILURE 表示该任务执行失败
STARTED 表示该任务正在执行
RECEIVED 表示该任务在worker中,只是被接收而已
args: 表示该任务的列表参数
kwargs: 表示该任务的字典参数
Result: 表示该任务函数的返回结果
Received: 表示该任务在worker接收到的时间
Started: 表示该任务在worker开始执行的时间
Runtime: 表示该任务在worker真正执行的耗时(单位:秒)
Worker: 表示该任务所在的worker名称

总结:django+celery实现的定时任务还是不错的,你可以在前端上查看管理所有定时任务,实时修改生效删除和禁用,所以有需求的话可以去试试。下次再分享啦

到此这篇关于Django+Celery实现动态配置定时任务的方法示例的文章就介绍到这了,更多相关Django Celery动态配置定时任务内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python使用cStringIO实现临时内存文件访问的方法
Mar 26 Python
python 实现删除文件或文件夹实例详解
Dec 04 Python
PyQt5每天必学之进度条效果
Apr 19 Python
python可视化实现代码
Jan 15 Python
使用Django开发简单接口实现文章增删改查
May 09 Python
np.dot()函数的用法详解
Jan 17 Python
Python中关于logging模块的学习笔记
Jun 03 Python
详解Windows下PyCharm安装Numpy包及无法安装问题解决方案
Jun 18 Python
python中np是做什么的
Jul 21 Python
python tqdm实现进度条的示例代码
Nov 10 Python
详解python第三方库的安装、PyInstaller库、random库
Mar 03 Python
Python3 如何开启自带http服务
May 18 Python
python删除某个目录文件夹的方法
May 26 #Python
Pytorch使用PIL和Numpy将单张图片转为Pytorch张量方式
May 25 #Python
Pytorch转onnx、torchscript方式
May 25 #Python
使用pandas库对csv文件进行筛选保存
May 25 #Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
You might like
PHP&MYSQL服务器配置说明
2006/10/09 PHP
查找mysql字段中固定字符串并替换的几个方法
2012/09/23 PHP
关于php支持分块与断点续传文件下载功能代码
2014/05/09 PHP
yii实现级联下拉菜单的方法
2014/07/31 PHP
php面向对象中static静态属性和静态方法的调用
2015/02/08 PHP
php array_keys 返回数组的键名
2016/10/25 PHP
ThinkPHP框架实现导出excel数据的方法示例【基于PHPExcel】
2018/05/12 PHP
yii2的restful api路由实例详解
2019/05/14 PHP
漂亮的仿flash菜单,来自蓝色经典
2006/06/26 Javascript
基于jquery实现的鼠标拖拽元素复制并写入效果
2011/08/23 Javascript
jquery 图片缩放拖动的简单实例
2014/01/08 Javascript
jQuery DOM操作实例
2014/03/05 Javascript
JS实现的数字格式化功能示例
2017/02/10 Javascript
利用Node.js编写跨平台的spawn语句详解
2017/02/12 Javascript
vue2笔记 — vue-router路由懒加载的实现
2017/03/03 Javascript
discuz表情的JS提取方法分析
2017/03/22 Javascript
node.js 中间件express-session使用详解
2017/05/20 Javascript
详解Angular-cli生成组件修改css成less或sass的实例
2017/07/27 Javascript
Angularjs渲染的 using 指令的星级评分系统示例
2017/11/09 Javascript
使用vue完成微信公众号网页小记(推荐)
2019/04/28 Javascript
vue 获取及修改store.js里的公共变量实例
2019/11/06 Javascript
javaScript中indexOf用法技巧
2019/11/26 Javascript
单线程JavaScript实现异步过程详解
2020/05/19 Javascript
用云开发Cloudbase实现小程序多图片内容安全监测的代码详解
2020/06/07 Javascript
vue 验证两次输入的密码是否一致的方法示例
2020/09/29 Javascript
[00:21]DOTA2亚洲邀请赛 Logo演绎
2015/02/07 DOTA
Python标准库内置函数complex介绍
2014/11/25 Python
python3音乐播放器简单实现代码
2020/04/20 Python
教大家玩转Python字符串处理的七种技巧
2017/03/31 Python
用Python登录好友QQ空间点赞的示例代码
2017/11/04 Python
python生成1行四列全2矩阵的方法
2018/08/04 Python
详解Django的model查询操作与查询性能优化
2018/10/16 Python
python:批量统计xml中各类目标的数量案例
2020/03/10 Python
实习护士自我鉴定
2013/10/13 职场文书
大学生素质拓展活动方案
2014/02/11 职场文书
文化建设工作方案
2014/05/12 职场文书