Django+Celery实现动态配置定时任务的方法示例


Posted in Python onMay 26, 2020

哈喽,今天给大家分享一篇Django+Celery实现动态配置定时任务,因为最近也是无意间看到一位大佬关于这块的文章,然后自己觉得不错,也想学习写一下,然后最终实现功能是在前端页面统一管理计划任务,大家可以在admin管理页面设置,也可以在自己写的前端页面删除添加编辑,实时生效,还可以监控这些监控任务是否运行成功失败。

补充:如果大家对celery不熟悉的话,建议先学习celery

Django+Celery实现动态配置定时任务的方法示例

一、安装

1.在Linux系统上安装模块

celery (3.1.26.post2)
celery-with-redis (3.0)
redis (2.10.6)
Django (2.1.10)
django-celery (3.3.1)

2.迁移生成表

python manage.py migrate

3.查看生成的表,这几张表是上面执行命令后生成的

Django+Celery实现动态配置定时任务的方法示例

二、配置

1.添加apps

INSTALLED_APPS = [
  'django.contrib.admin',
  'django.contrib.auth',
  'django.contrib.contenttypes',
  'django.contrib.sessions',
  'django.contrib.messages',
  'django.contrib.staticfiles',
  'djcelery',  #这是要添加的
]

2.配置django时区

LANGUAGE_CODE = 'en-us'
TIME_ZONE = 'Asia/Shanghai'
USE_I18N = True
USE_L10N = True
USE_TZ = False

3.Celery配置

BROKER_URL = 'redis://localhost:6379' #代理人
CELERY_RESULT_BACKEND = 'redis://localhost:6379' #结果存储地址
CELERY_ACCEPT_CONTENT = ['application/json'] #指定任务接收的内容序列化类型
CELERY_TASK_SERIALIZER = 'json' #任务序列化方式
CELERY_RESULT_SERIALIZER = 'json' #任务结果序列化方式
CELERY_TASK_RESULT_EXPIRES = 12 * 30 #超过时间
CELERY_MESSAGE_COMPRESSION = 'zlib' #是否压缩
CELERYD_CONCURRENCY = 4 #并发数默认已CPU数量定
CELERYD_PREFETCH_MULTIPLIER = 4 #celery worker 每次去redis取任务的数量
CELERYD_MAX_TASKS_PER_CHILD = 3 #每个worker最多执行3个任务就摧毁,避免内存泄漏
CELERYD_FORCE_EXECV = True #可以防止死锁
CELERY_ENABLE_UTC = False #关闭时区
CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 定时任务调度器

4.在你项目的app下面配置celery.py

import os
from celery import Celery,platforms
from django.conf import settings
os.environ.setdefault('DJANGO_SETTINGS_MODULE','blog.settings')
app = Celery('blog')
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
  print('Request: {0!r}'.format(self.request))

5.配置刚才app下面的__init__.py文件

from __future__ import absolute_import
from .celery import app as celery_app

6.在app下面创建一个tasks.py文件

from blog.celery import app
@app.task()
def get_date(x,y,s):#这里的函数留意一下,后面会用到
  print(s)
  return x + y

@app.task()
def get_task():
  return 'test'

@app.task()
def get_command_task():
  return 'success'

三、启动

1.进入你项目下面,执行启动worker,Worker是执行任务的单元,它实时监控消息队列,如果有任务就获取任务并执行它。

celery -A autoops worker -l info

2.进入你项目下面,执行启动beat,beat是定时把这个任务扔到队列中

celery -A autoops beat -l info

3.启动你的django项目

python manage.py runserver 192.168.10.133:8001

4.页面展示

4.1这个是admin页面下的,然后我自己重新写了,大家也可以自己写一个,admin和我自己写的页面实现的功能其实是一模一样的。

Django+Celery实现动态配置定时任务的方法示例

4.2.对应admin页面的crontabs

Django+Celery实现动态配置定时任务的方法示例

添加周期

Django+Celery实现动态配置定时任务的方法示例

编辑修改周期

Django+Celery实现动态配置定时任务的方法示例

5.tasks任务

5.1.大家可以看到我添加了一个名为测试的任务,每隔一分钟执行一次,任务模板其实就是你写的tasks文件里面函数

Django+Celery实现动态配置定时任务的方法示例

Django+Celery实现动态配置定时任务的方法示例

看一下worker进程日志输出

Django+Celery实现动态配置定时任务的方法示例

四、监控计划任务

celery作为一个分布式异步任务队列管理工具,通过界面化的方式来进行管控任务的执行状态和查看任务执行结果

flower作为web页面来管理celery后台任务,和任务队列是隔离的,也就是flower的运行与否并不会影响到任务队列的真正执行,但是flower中可以通过API接口来管理celery中的任务执行。

4.1安装flower,监控celery计划任务

pip3 install flower==0.9.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip install tornado==5.1.1
celery flower -A blog --port=5555 #进入项目目录启动flower

4.2打开浏览器,输入http://ip:5555 查看

Django+Celery实现动态配置定时任务的方法示例

Name: 表示该任务的名称,默认规则为该函数的路径规则,例如 {模块名}.{文件名}.{函数名}
UUID: 表示一个唯一字符串ID用于表示该任务
State: 表示该任务的状态,包括: SUCCESS / FAILURE / STARTED / RECEIVED
SUCCESS 表示该任务执行完毕且成功
FAILURE 表示该任务执行失败
STARTED 表示该任务正在执行
RECEIVED 表示该任务在worker中,只是被接收而已
args: 表示该任务的列表参数
kwargs: 表示该任务的字典参数
Result: 表示该任务函数的返回结果
Received: 表示该任务在worker接收到的时间
Started: 表示该任务在worker开始执行的时间
Runtime: 表示该任务在worker真正执行的耗时(单位:秒)
Worker: 表示该任务所在的worker名称

总结:django+celery实现的定时任务还是不错的,你可以在前端上查看管理所有定时任务,实时修改生效删除和禁用,所以有需求的话可以去试试。下次再分享啦

到此这篇关于Django+Celery实现动态配置定时任务的方法示例的文章就介绍到这了,更多相关Django Celery动态配置定时任务内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python学习笔记(一)(基础入门之环境搭建)
Jun 05 Python
探寻python多线程ctrl+c退出问题解决方案
Oct 23 Python
win与linux系统中python requests 安装
Dec 04 Python
django js实现部分页面刷新的示例代码
May 28 Python
pyqt5 lineEdit设置密码隐藏,删除lineEdit已输入的内容等属性方法
Jun 24 Python
python经典趣味24点游戏程序设计
Jul 26 Python
Python Django 封装分页成通用的模块详解
Aug 21 Python
python 怎样将dataframe中的字符串日期转化为日期的方法
Sep 26 Python
opencv resize图片为正方形尺寸的实现方法
Dec 26 Python
python opencv肤色检测的实现示例
Dec 21 Python
Python实现简繁体转换
Jun 07 Python
Python作用域和名称空间的详细介绍
Apr 13 Python
python删除某个目录文件夹的方法
May 26 #Python
Pytorch使用PIL和Numpy将单张图片转为Pytorch张量方式
May 25 #Python
Pytorch转onnx、torchscript方式
May 25 #Python
使用pandas库对csv文件进行筛选保存
May 25 #Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
You might like
人族 Terran 基本策略
2020/03/14 星际争霸
PHP5.3.1 不再支持ISAPI
2010/01/08 PHP
file_get_contents获取不到网页内容的解决方法
2013/03/07 PHP
探讨PHP函数ip2long转换IP时数值太大产生负数的解决方法
2013/06/06 PHP
thinkphp,onethink和thinkox中验证码不显示的解决方法分析
2016/06/06 PHP
PHP对称加密算法(DES/AES)类的实现代码
2017/11/14 PHP
使用jQuery简化Ajax开发 Ajax开发入门
2009/10/14 Javascript
JQuery UI的拖拽功能实现方法小结
2012/03/14 Javascript
用js调用迅雷下载代码的二种方法
2013/04/15 Javascript
jQuery实现滚动切换的tab选项卡效果代码
2015/08/26 Javascript
Web Uploader文件上传插件使用详解
2016/05/10 Javascript
基于BootStrap Metronic开发框架经验小结【七】数据的导入、导出及附件的查看处理
2016/05/12 Javascript
JQuery在循环中绑定事件的问题详解
2016/06/02 Javascript
Javascript类型系统之undefined和null浅析
2016/07/13 Javascript
详解Vue2.0配置mint-ui踩过的那些坑
2018/04/23 Javascript
node.js中npm包管理工具用法分析
2020/02/14 Javascript
python线程锁(thread)学习示例
2013/12/04 Python
python文件比较示例分享
2014/01/10 Python
python输出当前目录下index.html文件路径的方法
2015/04/28 Python
视觉直观感受若干常用排序算法
2017/04/13 Python
Django代码性能优化与Pycharm Profile使用详解
2018/08/26 Python
python实现对象列表根据某个属性排序的方法详解
2019/06/11 Python
Python类中的装饰器在当前类中的声明与调用详解
2020/04/15 Python
利用Python实现Excel的文件间的数据匹配功能
2020/06/16 Python
Python 多线程C段扫描、检测 Ping扫描脚本的实现
2020/09/03 Python
python爬取代理ip的示例
2020/12/18 Python
html5定制表单_动力节点Java学院整理
2017/07/11 HTML / CSS
canvas像素画板的实现代码
2018/11/21 HTML / CSS
澳大利亚最超值的自行车之家:Reid Cycles
2019/03/24 全球购物
高级电工工作职责
2013/11/21 职场文书
银行内勤岗位职责
2014/04/09 职场文书
中学生英语演讲稿
2014/04/26 职场文书
前台接待岗位职责范本
2015/04/03 职场文书
我是特种兵观后感
2015/06/11 职场文书
民政局未婚证明
2015/06/15 职场文书
工程主管竞聘书
2015/09/15 职场文书