python 基于Apscheduler实现定时任务


Posted in Python onDecember 15, 2020

导语

在工作场景遇到了这么一个场景,就是需要定期去执行一个缓存接口,用于同步设备配置。首先想到的就是Linux上的crontab,可以定期,或者间隔一段时间去执行任务。但是如果你想要把这个定时任务作为一个模块集成到Python项目中,或者想持久化任务,显然crontab不太适用。Python的APScheduler模块能够很好的解决此类问题,所以专门写这篇文章,从简单入门开始记录关于APScheduler最基础的使用场景,以及解决持久化任务的问题,最后结合其他框架深层次定制定时任务模块这几个点入手。

简单介绍

先简单介绍一下Apscheduler模块包含的四种组件:

  • Trigger触发器
  • Job作业
  • Excutor执行器
  • Scheduler调度器

大概了解了Apscheduler包含的几种概念,现在先来看一下一个简单的示例:

# -*- coding: utf-8 -*-

from apscheduler.schedulers.blocking import BlockingScheduler
import time


def hello():
  print(time.strftime("%c"))


if __name__ == "__main__":
  scheduler = BlockingScheduler()
  scheduler.add_job(hello, 'interval', seconds=5)
  scheduler.start()

示例的输出:

Thu Dec 3 16:01:20 2020
Thu Dec 3 16:01:25 2020
Thu Dec 3 16:01:30 2020
Thu Dec 3 16:01:35 2020
Thu Dec 3 16:01:40 2020
..........

这个简单的示例,我们用上面提到几种组件分析一下运行逻辑:

  • 首先是Scheduler调度器,这个示例使用的BlockingScheduler调度器,在官方文档中的解释是,BlockingScheduler适合当你的这个定时任务程序是唯一运行的程序;换言之,则是BlockingScheduler调度器是一个阻塞调度器,当程序运行这种调度器,进程则会阻塞,无法执行其他操作;
  • 其次是Job作业和触发器,这两个放在一起讲是因为,在定义作业的时候,你就需要选择一个触发器,这里选择的是interval触发器,这种触发器会以固定时间间隔运行作业。换言之,为调度器添加一个hello的工作,并以每5秒的时间间隔执行任务。
  • 最后就是执行器,默认是ThreadPoolExcutor执行器,他们将任务中可调用对象交给线程池执行操作,等完成操作后,执行器会通知调度程序。

内置的三种Trigger触发器类型:

  • date:特定时间仅运行一次作业
  • interval: 固定的时间间隔内运行一次作业
  • cron: 在一天内特定的时间定期运行作业

常见的Scheduler调度器:

  • BlockingScheduler: 调度程序是流程中唯一运行的东西
  • BackgroundScheduler: 调度程序在应用程序内部的后台运行时使用
  • AsyncIOScheduler: 应用程序使用asyncio模块
  • GeventScheduler: 应用程序使用gevent模块
  • TornadoScheduler:构建Tornado应用程序时使用
  • TwistedScheduler: 构建Tornado应用程序时使用
  • QtScheduler: 在构建QT应用程序时使用

常见的JobStore:

  • MemoryJobStore
  • MongoDBJobStore
  • SQLAlchemyJobStore
  • RedisJobStore

进阶使用

通过上面一个简单的示例了解大概的工作流程,以及各个组件在整个流程中的作用,以下的示例是Flask Web框架结合使用Apscheduler定时器,定时执行任务。

# -*- coding: utf-8 -*-

from flask import Flask, Blueprint, request
from apscheduler.executors.pool import ThreadPoolExecutor 
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.redis import RedisJobStore
import time

app = Flask(__name__)
executors = {"default": ThreadPoolExecutor(5)}
default_redis_jobstore = RedisJobStore(db=2, 
    jobs_key="apschedulers.default_jobs",
    run_times_key="apschedulers.default_run_times",
    host = '127.0.0.1',
    port = 6379
    )

scheduler = BackgroundScheduler(executors=executors)
scheduler.add_jobstore(default_redis_jobstore)
scheduler.start()

def say_hello():
  print(time.strftime("%c"))


@app.route("/get_job", methods=['GET'])
def get_job():
  if scheduler.get_job("say_hello_test"):
    return "YES"
  else:
    return "NO"

@app.route("/start_job", methods=["GET"])
def start_job():
  if not scheduler.get_job("say_hello_test"):
    scheduler.add_job(say_hello, "interval", seconds=5, id="say_hello_test")
    return "Start Scuessfully!"
  else:
    return "Started Failed"
  
@app.route("/remove_job", methods=["GET"])
def remove_job():
  if scheduler.get_job("say_hello_test"):
    scheduler.remove_job("say_hello_test")
    return "Delete Successfully!"
  else:
    return "Delete Failed"


if __name__ == "__main__":
  app.run(host="127.0.0.1", port=8787, debug=True)
  • 先分析Jobstore,这里使用的是RedisJobstore,将任务序列化存入到Redis数据库中。这里顺便提一下,为什么需要设置作业存储器,原因是当调度器程序崩溃时,仍然能够保留作业,当然选择什么作业存储器,可以根据具体的工作场景,目前主流的mysql,mongodb,redis,SQLite基本都支持;
  • 然后再看看Scheduler,这里使用的时BackgroundScheduler,因为这里要求调度程序不能阻塞flask程序的正常接收请求,所以选在BackgrounScheduler让它在开始执行任务时是在后台运行的,不会阻塞主线程;
  • 最后看看工作的逻辑,这里get_job获取作业的状态,查看作业是否存在,start_job则是先判断作业是否启动,然后再决定启动操作,remove_job则是停止作业。而这里的作业定义则是通过interval触发器,每五秒执行一次say_hello任务;

总结

最后总结一下,首先你要设置一个作业存储器用于在调度程序崩溃重新恢复时,还能够在作业存储器中获取到作业继续执行;然后你需要设置一个执行器,这个根据作业的类型,比如时一个CPU密集型的任务,那就可以用进程池执行器,默认是用线程池执行器;最后创建配置调度器,启动调度,可以在启动前添加作业,也可以在启动后添加,删除,获取作业。(在这里需要明白的一点就是应用程序不会直接去操作作业存储器,作业或者执行器,而是调度器提供适当的接口来处理这些接口。)

ApScheduler是一个不错的定时任务库,能够动态的添加删除,同时也支持不同的触发器类型,这也是它的优势,相反一些如果是静态任务,其实可以用如linux的crontab工具去做定时任务。有关这方面的记录还会持续更新,如果有什么问题,可以提出来,大家一起探讨。

以上就是python Apscheduler的使用方法的详细内容,更多关于python Apscheduler的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
使用python调用浏览器并打开一个网址的例子
Jun 05 Python
pycharm 使用心得(一)安装和首次使用
Jun 05 Python
python之yield表达式学习
Sep 02 Python
一步步解析Python斗牛游戏的概率
Feb 12 Python
python读文件保存到字典,修改字典并写入新文件的实例
Apr 23 Python
Python3删除排序数组中重复项的方法分析
Jan 31 Python
Ubuntu18.04中Python2.7与Python3.6环境切换
Jun 14 Python
Python实现把类当做字典来访问
Dec 16 Python
pytorch torch.nn.AdaptiveAvgPool2d()自适应平均池化函数详解
Jan 03 Python
使用TensorFlow对图像进行随机旋转的实现示例
Jan 20 Python
python属于软件吗
Jun 18 Python
Python接口自动化系列之unittest结合ddt的使用教程详解
Feb 23 Python
next在python中返回迭代器的实例方法
Dec 15 #Python
python中slice参数过长的处理方法及实例
Dec 15 #Python
关于django python manage.py startapp 应用名出错异常原因解析
Dec 15 #Python
Window10上Tensorflow的安装(CPU和GPU版本)
Dec 15 #Python
详解python中的异常捕获
Dec 15 #Python
python 6种方法实现单例模式
Dec 15 #Python
Ubuntu16安装Python3.9的实现步骤
Dec 15 #Python
You might like
php中使用Curl、socket、file_get_contents三种方法POST提交数据
2011/08/12 PHP
PHP同时连接多个mysql数据库示例代码
2014/03/17 PHP
php获取字符串中各个字符出现次数的方法
2015/02/23 PHP
PHP上传图片、删除图片简单实例
2016/11/12 PHP
PHP异常处理定义与使用方法分析
2017/07/25 PHP
指定位置如果有图片显示图片,无图片显示广告的JS
2010/06/05 Javascript
javascript的offset、client、scroll使用方法详解
2012/12/25 Javascript
jQuery提交多个表单的小例子
2013/06/30 Javascript
js加减乘除丢失精度问题解决方法
2014/05/16 Javascript
js 数组去重的四种实用方法
2014/09/09 Javascript
javascript面向对象快速入门实例
2015/01/13 Javascript
JS中的Replace方法使用经验分享
2015/05/20 Javascript
原生JS实现风箱式demo,并封装了一个运动框架(实例代码)
2016/07/22 Javascript
Vue.js 父子组件通讯开发实例
2016/09/06 Javascript
ES5 ES6中Array对象去除重复项的方法总结
2017/04/27 Javascript
JS伪继承prototype实现方法示例
2018/06/20 Javascript
Vue一次性简洁明了引入所有公共组件的方法
2018/11/28 Javascript
Vue两种组件类型:递归组件和动态组件的用法
2020/08/06 Javascript
[04:04]DOTA2亚洲邀请赛比赛场馆&酒店全攻略
2017/03/23 DOTA
wxPython 入门教程
2008/10/07 Python
python网络编程学习笔记(四):域名系统
2014/06/09 Python
转换科学计数法的数值字符串为decimal类型的方法
2018/07/16 Python
Python的UTC时间转换讲解
2019/02/26 Python
selenium+python自动化测试环境搭建步骤
2019/06/03 Python
Python批量查询关键词微信指数实例方法
2019/06/27 Python
python3 批量获取对应端口服务的实例
2019/07/25 Python
CSS3+Sprite实现僵尸行走动画特效源码
2016/01/27 HTML / CSS
大学生求职简历的自我评价
2013/10/14 职场文书
初一生物教学反思
2014/01/18 职场文书
超市开业庆典活动策划方案
2014/09/15 职场文书
学校师德师风自我剖析材料
2014/09/29 职场文书
2015年社区工会工作总结
2015/05/26 职场文书
婚宴领导致辞
2015/07/28 职场文书
担保公司2015年终工作总结
2015/10/14 职场文书
敬业奉献模范事迹材料(2016精选版)
2016/02/26 职场文书
Vue3.0 手写放大镜效果
2021/07/25 Vue.js