python 基于Apscheduler实现定时任务


Posted in Python onDecember 15, 2020

导语

在工作场景遇到了这么一个场景,就是需要定期去执行一个缓存接口,用于同步设备配置。首先想到的就是Linux上的crontab,可以定期,或者间隔一段时间去执行任务。但是如果你想要把这个定时任务作为一个模块集成到Python项目中,或者想持久化任务,显然crontab不太适用。Python的APScheduler模块能够很好的解决此类问题,所以专门写这篇文章,从简单入门开始记录关于APScheduler最基础的使用场景,以及解决持久化任务的问题,最后结合其他框架深层次定制定时任务模块这几个点入手。

简单介绍

先简单介绍一下Apscheduler模块包含的四种组件:

  • Trigger触发器
  • Job作业
  • Excutor执行器
  • Scheduler调度器

大概了解了Apscheduler包含的几种概念,现在先来看一下一个简单的示例:

# -*- coding: utf-8 -*-

from apscheduler.schedulers.blocking import BlockingScheduler
import time


def hello():
  print(time.strftime("%c"))


if __name__ == "__main__":
  scheduler = BlockingScheduler()
  scheduler.add_job(hello, 'interval', seconds=5)
  scheduler.start()

示例的输出:

Thu Dec 3 16:01:20 2020
Thu Dec 3 16:01:25 2020
Thu Dec 3 16:01:30 2020
Thu Dec 3 16:01:35 2020
Thu Dec 3 16:01:40 2020
..........

这个简单的示例,我们用上面提到几种组件分析一下运行逻辑:

  • 首先是Scheduler调度器,这个示例使用的BlockingScheduler调度器,在官方文档中的解释是,BlockingScheduler适合当你的这个定时任务程序是唯一运行的程序;换言之,则是BlockingScheduler调度器是一个阻塞调度器,当程序运行这种调度器,进程则会阻塞,无法执行其他操作;
  • 其次是Job作业和触发器,这两个放在一起讲是因为,在定义作业的时候,你就需要选择一个触发器,这里选择的是interval触发器,这种触发器会以固定时间间隔运行作业。换言之,为调度器添加一个hello的工作,并以每5秒的时间间隔执行任务。
  • 最后就是执行器,默认是ThreadPoolExcutor执行器,他们将任务中可调用对象交给线程池执行操作,等完成操作后,执行器会通知调度程序。

内置的三种Trigger触发器类型:

  • date:特定时间仅运行一次作业
  • interval: 固定的时间间隔内运行一次作业
  • cron: 在一天内特定的时间定期运行作业

常见的Scheduler调度器:

  • BlockingScheduler: 调度程序是流程中唯一运行的东西
  • BackgroundScheduler: 调度程序在应用程序内部的后台运行时使用
  • AsyncIOScheduler: 应用程序使用asyncio模块
  • GeventScheduler: 应用程序使用gevent模块
  • TornadoScheduler:构建Tornado应用程序时使用
  • TwistedScheduler: 构建Tornado应用程序时使用
  • QtScheduler: 在构建QT应用程序时使用

常见的JobStore:

  • MemoryJobStore
  • MongoDBJobStore
  • SQLAlchemyJobStore
  • RedisJobStore

进阶使用

通过上面一个简单的示例了解大概的工作流程,以及各个组件在整个流程中的作用,以下的示例是Flask Web框架结合使用Apscheduler定时器,定时执行任务。

# -*- coding: utf-8 -*-

from flask import Flask, Blueprint, request
from apscheduler.executors.pool import ThreadPoolExecutor 
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.redis import RedisJobStore
import time

app = Flask(__name__)
executors = {"default": ThreadPoolExecutor(5)}
default_redis_jobstore = RedisJobStore(db=2, 
    jobs_key="apschedulers.default_jobs",
    run_times_key="apschedulers.default_run_times",
    host = '127.0.0.1',
    port = 6379
    )

scheduler = BackgroundScheduler(executors=executors)
scheduler.add_jobstore(default_redis_jobstore)
scheduler.start()

def say_hello():
  print(time.strftime("%c"))


@app.route("/get_job", methods=['GET'])
def get_job():
  if scheduler.get_job("say_hello_test"):
    return "YES"
  else:
    return "NO"

@app.route("/start_job", methods=["GET"])
def start_job():
  if not scheduler.get_job("say_hello_test"):
    scheduler.add_job(say_hello, "interval", seconds=5, id="say_hello_test")
    return "Start Scuessfully!"
  else:
    return "Started Failed"
  
@app.route("/remove_job", methods=["GET"])
def remove_job():
  if scheduler.get_job("say_hello_test"):
    scheduler.remove_job("say_hello_test")
    return "Delete Successfully!"
  else:
    return "Delete Failed"


if __name__ == "__main__":
  app.run(host="127.0.0.1", port=8787, debug=True)
  • 先分析Jobstore,这里使用的是RedisJobstore,将任务序列化存入到Redis数据库中。这里顺便提一下,为什么需要设置作业存储器,原因是当调度器程序崩溃时,仍然能够保留作业,当然选择什么作业存储器,可以根据具体的工作场景,目前主流的mysql,mongodb,redis,SQLite基本都支持;
  • 然后再看看Scheduler,这里使用的时BackgroundScheduler,因为这里要求调度程序不能阻塞flask程序的正常接收请求,所以选在BackgrounScheduler让它在开始执行任务时是在后台运行的,不会阻塞主线程;
  • 最后看看工作的逻辑,这里get_job获取作业的状态,查看作业是否存在,start_job则是先判断作业是否启动,然后再决定启动操作,remove_job则是停止作业。而这里的作业定义则是通过interval触发器,每五秒执行一次say_hello任务;

总结

最后总结一下,首先你要设置一个作业存储器用于在调度程序崩溃重新恢复时,还能够在作业存储器中获取到作业继续执行;然后你需要设置一个执行器,这个根据作业的类型,比如时一个CPU密集型的任务,那就可以用进程池执行器,默认是用线程池执行器;最后创建配置调度器,启动调度,可以在启动前添加作业,也可以在启动后添加,删除,获取作业。(在这里需要明白的一点就是应用程序不会直接去操作作业存储器,作业或者执行器,而是调度器提供适当的接口来处理这些接口。)

ApScheduler是一个不错的定时任务库,能够动态的添加删除,同时也支持不同的触发器类型,这也是它的优势,相反一些如果是静态任务,其实可以用如linux的crontab工具去做定时任务。有关这方面的记录还会持续更新,如果有什么问题,可以提出来,大家一起探讨。

以上就是python Apscheduler的使用方法的详细内容,更多关于python Apscheduler的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
跟老齐学Python之编写类之三子类
Oct 11 Python
python实现12306火车票查询器
Apr 20 Python
python3爬取淘宝信息代码分析
Feb 10 Python
Python日期时间对象转换为字符串的实例
Jun 22 Python
python实现归并排序算法
Nov 22 Python
自学python的建议和周期预算
Jan 30 Python
Python简直是万能的,这5大主要用途你一定要知道!(推荐)
Apr 03 Python
Django ORM 常用字段与不常用字段汇总
Aug 09 Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 Python
将pycharm配置为matlab或者spyder的用法说明
Jun 08 Python
解决Python3.8运行tornado项目报NotImplementedError错误
Sep 02 Python
Python机器学习之PCA降维算法详解
May 19 Python
next在python中返回迭代器的实例方法
Dec 15 #Python
python中slice参数过长的处理方法及实例
Dec 15 #Python
关于django python manage.py startapp 应用名出错异常原因解析
Dec 15 #Python
Window10上Tensorflow的安装(CPU和GPU版本)
Dec 15 #Python
详解python中的异常捕获
Dec 15 #Python
python 6种方法实现单例模式
Dec 15 #Python
Ubuntu16安装Python3.9的实现步骤
Dec 15 #Python
You might like
php面向对象全攻略 (十六) 对象的串行化
2009/09/30 PHP
php self,$this,const,static,->的使用
2009/10/22 PHP
深入理解curl类,可用于模拟get,post和curl下载
2013/06/08 PHP
PHP 快速排序算法详解
2014/11/10 PHP
浅析ThinkPHP缓存之快速缓存(F方法)和动态缓存(S方法)(日常整理)
2015/10/26 PHP
在WordPress的后台中添加顶级菜单和子菜单的函数详解
2016/01/11 PHP
Firefox/Chrome/Safari的中可直接使用$/$$函数进行调试
2012/02/13 Javascript
加载远程图片时,经常因为缓存而得不到更新的解决方法(分享)
2013/06/26 Javascript
js禁止页面使用右键(简单示例代码)
2013/11/13 Javascript
javascript实现类似java中getClass()得到对象类名的方法
2015/07/27 Javascript
详解AngularJS中ng-src指令的使用
2016/09/07 Javascript
正则验证小数点后面只能有两位数的方法
2017/02/28 Javascript
Vue使用mixins实现压缩图片代码
2018/03/14 Javascript
javascript实现文件拖拽事件
2018/03/29 Javascript
详解使用create-react-app添加css modules、sasss和antd
2018/07/31 Javascript
jQuery表单元素过滤选择器用法实例分析
2019/02/20 jQuery
微信小程序实现音乐播放页面布局
2020/12/11 Javascript
python文件读写并使用mysql批量插入示例分享(python操作mysql)
2014/02/17 Python
分析Python的Django框架的运行方式及处理流程
2015/04/08 Python
python制作爬虫爬取京东商品评论教程
2016/12/16 Python
PyCharm代码提示忽略大小写设置方法
2018/10/28 Python
Python3爬虫全国地址信息
2019/01/05 Python
Django框架封装外部函数示例
2019/05/28 Python
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
2020/01/15 Python
将pycharm配置为matlab或者spyder的用法说明
2020/06/08 Python
使用tensorflow根据输入更改tensor shape
2020/06/23 Python
浅析python 字典嵌套
2020/09/29 Python
python BeautifulSoup库的安装与使用
2020/12/17 Python
运动鞋中的劳斯莱斯:索康尼(SAUCONY)
2017/08/09 全球购物
美国中西部家用医疗设备商店:Med Mart(轮椅、踏板车、升降机等)
2019/04/26 全球购物
英国工作场所设备购买网站:Slingsby
2019/05/03 全球购物
英国折扣高尔夫商店:Discount Golf Store
2019/11/19 全球购物
创意婚礼策划方案
2014/05/18 职场文书
会计工作态度自我评价
2015/03/06 职场文书
新郎新娘致辞
2015/07/31 职场文书
sqlserver2017共享功能目录路径不可改的解决方法
2021/04/16 SQL Server