django 实现celery动态设置周期任务执行时间


Posted in Python onNovember 19, 2019

蓝鲸paas平台app开发经验分享

腾讯蓝鲸智云是一套基于PaaS的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

PaaS平台不仅将应用服务的运行和开发环境作为一种服务提供给开发者用户,更为开发者用户提供了高效便捷的开发服务,如:组件系统,统一登录,权限管理,后台框架,MagicBox,桌面/工作台等。

django 实现celery动态设置周期任务执行时间

PaaS平台提供支持多语言的开发框架,助力运维人员能基于平台之上以自己擅长的技术语言(Python、java等)开发运维自动化工具。

通过了解PaaS的设计理念,运维人员能够基于蓝鲸的PaaS平台,从零开始进行SaaS应用的实战开发,快速构建企业运维/运营系统,提升企业自动化水平。

开发背景

之前在一个银行自动化运维项目中,客户希望我们在蓝鲸PaaS上开发一个数据库巡检SaaS。具体需求如下:

为了保障数据库正常运行,保证数据的安全性、完整性和可用性,需要开发一个自动化巡检工具,代替原来的人工数据库巡检。并且巡检周期窗口分为日巡检、周巡检、月巡检、半年度巡检四类:

日巡检维护指每日按计划进行的巡检维护活动,以检查数据库运行状态、数据库备份状态和告警错误为主要内容。

周巡检维护指按一周为周期,在每周指定日按计划进行的巡检维护活动,它的工作内容是在日巡检维护工作内容的基础上添加数据库对象检查、安全性检查等内容组成。

月巡检维护指按一月为周期,在每月指定日按计划进行的巡检维护活动,它的工作内容是在周巡检维护工作内容的基础上添加系统参数配置检查、硬件与系统平台运行状态检查等内容组成。

年度巡检维护指按半年或者一年为周期,在指定日按计划进行的巡检维护活动,它的工作内容是在月巡检维护工作内容的基础上添加数据库性能诊断检查组成。

巡检实现方式分为两种:

1、立即巡检

用户首先选择某一业务下对应的目标主机,需要巡检的数据库实例(支持多选),设置数据采样区间(当前时间之前的任意时间段)。

django 实现celery动态设置周期任务执行时间

点击立即巡检按钮,等待数秒钟,巡检完成。点击查看详情,导出报告。

django 实现celery动态设置周期任务执行时间

2、定时巡检

用户可以根据需求设置每天、每周、每月来执行巡检任务。这里举例说明一下每周,用户首先需要配置某业务下面主机、数据库实例、巡检频率、巡检时长(任意天数)、执行时间(每周某一天的某时某分某秒),如下图:

django 实现celery动态设置周期任务执行时间

实现方式

针对以上需求,平时我们开发时使用periodic_task装饰器,程序启动后自动执行周期任务:

@periodic_task(run_every=crontab(minute='*/5', hour='*', day_of_week="*"))
def get_time():
  """
  celery 周期任务示例

  run_every=crontab(minute='*/5', hour='*', day_of_week="*"):每 5 分钟执行一次任务
  """
  now = datetime.datetime.now()
  logger.error(u"celery 周期任务调用成功,当前时间:{}".format(now))

crontab()实例化的时候没设置任何参数,都是使用默认值。crontab一共有7个参数,常用有5个参数分别为:

minute:分钟,范围0-59

hour:小时,范围0-23

day_of_week:星期几,范围0-6。以星期天为开始,即0为星期天。这个星期几还可以使用英文缩写表示,例如“sun”表示星期天

day_of_month:每月第几号,范围1-31

month_of_year:月份,范围1-12

以上方案有个弊端:

需要每次根据巡检是周几,来计算数据采样区间具体时间,然后触发定时任务,可能会存在误差。

定时任务无法直接取消

举例来说,假如客户选择每周三早上8点执行任务,采样区间为3天。假如首次10月1日8:00执行任务,触发定时任务获取9月28日8:00-10月1日8:00之间的数据;然后再次执行时间为10月8日,再次触发定时任务,循环执行。

最终,通过以下方式解决:

模板函数提前开发完成,加上@task()装饰器:

@task()
def auto_iip(**kwargs):
   logger.error(kwargs)
   '此处写逻辑代码'

测试每分钟执行一次,启动工程,启动celery,调用下面函数,OK,等待1分钟,sucess!

from djcelery.models import PeriodicTask, CrontabSchedule
from djcelery.schedulers import ModelEntry, DatabaseScheduler
def test_celery_task(date_data):
  crontab= CrontabSchedule.objects.create(
    hour='*',
    minute='*/1',
    day_of_week='*',
    day_of_month='*',
    month_of_year="*"
  )
  schedule = crontab.schedule

  create_or_update_task = DatabaseScheduler.create_or_update_task
  #'home_application.celery_tasks.auto_iip' home模块下的task。
  task_template='home_application.celery_tasks.auto_iip'
  #task_name自定义,不能重复。
  task_name = 'test'
  schedule_dict = {
    'schedule': schedule,
    'args': [],
    'kwargs': data,
    'task': task_template,
    'enabled': 1
  }
  create_or_update_task(task_name, **schedule_dict)

定时任务停止,直接根据task_name进行删除

def delete_celery_task(task_name):
  DatabaseScheduler.delete_task(task_name)

ok!大功告成。

以上这篇django 实现celery动态设置周期任务执行时间就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现从字符串中找出字符1的位置以及个数的方法
Aug 25 Python
Python自动化运维和部署项目工具Fabric使用实例
Sep 18 Python
python3实现TCP协议的简单服务器和客户端案例(分享)
Jun 14 Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 Python
python+opencv实现阈值分割
Dec 26 Python
Python 处理文件的几种方式
Aug 23 Python
python requests证书问题解决
Sep 05 Python
python中property和setter装饰器用法
Dec 19 Python
浅谈ROC曲线的最佳阈值如何选取
Feb 28 Python
Python tkinter 下拉日历控件代码
Mar 04 Python
python怎么调用自己的函数
Jul 01 Python
python中字符串的编码与解码详析
Dec 03 Python
python调用接口的4种方式代码实例
Nov 19 #Python
Python Django2.0集成Celery4.1教程
Nov 19 #Python
通过celery异步处理一个查询任务的完整代码
Nov 19 #Python
Django 自动生成api接口文档教程
Nov 19 #Python
wxpython实现按钮切换界面的方法
Nov 19 #Python
Python性能分析工具Profile使用实例
Nov 19 #Python
使用apiDoc实现python接口文档编写
Nov 19 #Python
You might like
基于PHP遍历数组的方法汇总分析
2013/06/08 PHP
PHP中鲜为人知的10个函数
2014/02/28 PHP
PHP中Header使用的HTTP协议及常用方法小结
2014/11/04 PHP
PHP的Yii框架中过滤器相关的使用总结
2016/03/29 PHP
PHP 常用时间函数资料整理
2016/10/22 PHP
javascript 图片上一张下一张链接效果代码
2010/03/12 Javascript
设置iframe的document.designMode后仅Firefox中其body.innerHTML为br
2012/02/27 Javascript
基于jQuery判断两个元素是否有重叠部分的代码
2012/07/25 Javascript
jquery 页面滚动到指定DIV实现代码
2013/09/25 Javascript
Jquery动态添加及删除页面节点元素示例代码
2014/06/16 Javascript
网页中表单按回车就自动提交的问题的解决方案
2014/11/03 Javascript
JavaScript生成福利彩票双色球号码
2015/05/15 Javascript
Javascript显示和隐藏ul列表的方法
2015/07/15 Javascript
JavaScript使用DeviceOne开发实战(三)仿微信应用
2015/12/02 Javascript
js前端实现多图图片上传预览的两个方法(推荐)
2016/11/18 Javascript
BootStrap 标题设置跨行无效的解决方法
2017/10/25 Javascript
vue-scroller记录滚动位置的示例代码
2018/01/17 Javascript
node.js之基础加密算法模块crypto详解
2018/09/11 Javascript
JavaScript中的相等操作符使用详解
2019/12/21 Javascript
详解vue-router的Import异步加载模块问题的解决方案
2020/05/13 Javascript
JavaScript鼠标悬停事件用法解析
2020/05/15 Javascript
微信小程序实现通讯录列表展开收起
2020/11/18 Javascript
8个非常实用的Vue自定义指令
2020/12/15 Vue.js
Python采集腾讯新闻实例
2014/07/10 Python
python刷投票的脚本实现代码
2014/11/08 Python
使用Python生成url短链接的方法
2015/05/04 Python
用Python编写一个每天都在系统下新建一个文件夹的脚本
2015/05/04 Python
python xml.etree.ElementTree遍历xml所有节点实例详解
2016/12/04 Python
python 根据正则表达式提取指定的内容实例详解
2016/12/04 Python
详解如何在python中读写和存储matlab的数据文件(*.mat)
2018/02/24 Python
python操作excel的包(openpyxl、xlsxwriter)
2018/06/11 Python
利用python Selenium实现自动登陆京东签到领金币功能
2019/10/31 Python
python中format函数如何使用
2020/06/22 Python
法英专业大学生职业生涯规划范文:衡外情,量己力!
2014/09/23 职场文书
2019年怎样写好导游词?
2019/07/02 职场文书
python 管理系统实现mysql交互的示例代码
2021/12/06 Python