Python定时任务APScheduler的实例实例详解


Posted in Python onJuly 22, 2019

APScheduler 支持三种调度任务:固定时间间隔,固定时间点(日期),Linux 下的 Crontab 命令。同时,它还支持异步执行、后台执行调度任务。

一、基本架构

  1. 触发器 triggers:设定触发任务的条件
  2. 描述一个任务何时被触发,按日期或按时间间隔或按 cronjob 表达式三种方式触发
  3. 任务存储器 job stores:存放任务,可以放内存(默认)或数据库
  4. 注:调度器之间不能共享任务存储器
  5. 执行器 executors:用于执行任务,可设定执行模式
  6. 将指定的作业提交到线程池或者进程池中运行,任务完成通知调度器触发相应的事件。
  7. 调度器 schedulers:将上方三个组件作为参数,创建调度器实例执行。

协调三个组件的运行。

二、调度器组件(schedulers)

  • BlockingScheduler 阻塞式调度器

调度程序是进程中唯一运行的进程,调用start函数会阻塞当前线程,不能立即返回。

from apscheduler.schedulers.blocking import BlockingScheduler
import time
scheduler = BlockingScheduler()
def job1():
 print "%s: 执行任务" % time.asctime()
scheduler.add_job(job1, 'interval', seconds=3)
scheduler.start()
  • BackgroundScheduler 后台调度器

当前线程不会阻塞,调度器后台执行

from apscheduler.schedulers.background import BackgroundScheduler
import time
scheduler = BackgroundScheduler()
def job1():
 print "%s: 执行任务" % time.asctime()
scheduler.add_job(job1, 'interval', seconds=3)
scheduler.start()
time.sleep(10)

注:10秒执行完后,程序结束。

  • AsyncIOScheduler AsyncIO调度器

适用于使用了asyncio的情况

from apscheduler.schedulers.asyncio import AsyncIOScheduler
import asyncio
...
...
try:
 asyncio.get_event_loop().run_forever()
except (KeyboardInterrupt, SystemExit):
 pass
  • GeventScheduler Gevent调度器

使用了Gevent的情况

from apscheduler.schedulers.gevent import GeventScheduler
...
...
g = scheduler.start()
try:
 g.join()
except (KeyboardInterrupt, SystemExit):
 pass

  • TornadoScheduler Tornado调度器

适用于构建Tornado应用

  • TwistedScheduler Twisted调度器

适用于构建Twisted应用

  • QtScheduler Qt调度器

适用于构建Qt应用

三、触发器组件(trigger)

date :只在某个时间点执行一次,具体日期

run_date(datetime|str)

scheduler.add_job(my_job, 'date', run_date=datetime(2019, 7, 12, 15, 30, 5), args=[])
scheduler.add_job(my_job, 'date', run_date="2019-07-12", args=[])

timezone 指定时区

interval :每隔一段时间允许一次,时间间隔

weeks=0 | days=0 | hours=0 | minutes=0 | seconds=0, start_date=None, end_date=None, timezone=None
scheduler.add_job(my_job, 'interval', hours=2)
scheduler.add_job(my_job, 'interval', hours=2, start_date='2017-9-8 21:30:00', end_date='2018-06-15 21:30:00)

cron :任务的运行周期

(year=None, month=None, day=None, week=None, day_of_week=None, hour=None, minute=None, second=None, start_date=None, end_date=None, timezone=None)

除了week和 day_of_week,它们的默认值是 *

例如 day=1, minute=20 ,这就等于 year='*', month='*', day=1, week='*', day_of_week='*', hour='*', minute=20, second=0 ,工作将在每个月的第一天以每小时20分钟的时间执行

表达式类型

表达式 参数类型 描述
* 所有 通配符。例: minutes=* 即每分钟触发
*/a 所有 可被a整除的通配符。
a-b 所有 范围a-b触发
a-b/c 所有 范围a-b,且可被c整除时触发
xth y 第几个星期几触发。x为第几个,y为星期几
last x 一个月中,最后个星期几触发
last 一个月最后一天触发
x,y,z 所有 组合表达式,可以组合确定值或上方的表达式

注:当设置的时间间隔小于,任务的执行时间,线程会阻塞住,等待执行完了才能执行下一个任务,可以设置 max_instance 指定一个任务同一时刻有多少个实例在运行,默认为1

四、配置调度器

线程池执行器默认为10,内存任务存储器为 memoryjobstore ,如果想自己配置的话可以执行以下操作

需求:

  • 两个任务储存器分别搭配两个执行器;同时,还要修改任务的默认参数;最后还要改时区
  • 名称为“mongo”的 MongoDBJobStore
  • 名称为“default”的 SQLAlchemyJobStore
  • 名称为“ThreadPoolExecutor ”的 ThreadPoolExecutor ,最大线程20个
  • 名称“processpool”的 ProcessPoolExecutor ,最大进程5个
  • UTC时间作为调度器的时区
  • 默认为新任务关闭 合并模式 ()
  • 设置新任务的默认最大实例数为3

方法一:

from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.mongodb import MongoDBJobStore
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ThreadPoolExecutor, ProcessPoolExecutor
jobstores = {
 'mongo': MongoDBJobStore(),
 'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
 'default': ThreadPoolExecutor(20),
 'processpool': ProcessPoolExecutor(5)
}
job_defaults = {
 'coalesce': False,
 'max_instances': 3
}
scheduler = BackgroundScheduler(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)

方法二:

from apscheduler.schedulers.background import BackgroundScheduler
# The "apscheduler." prefix is hard coded
scheduler = BackgroundScheduler({
 'apscheduler.jobstores.mongo': {
   'type': 'mongodb'
 },
 'apscheduler.jobstores.default': {
  'type': 'sqlalchemy',
  'url': 'sqlite:///jobs.sqlite'
 },
 'apscheduler.executors.default': {
  'class': 'apscheduler.executors.pool:ThreadPoolExecutor',
  'max_workers': '20'
 },
 'apscheduler.executors.processpool': {
  'type': 'processpool',
  'max_workers': '5'
 },
 'apscheduler.job_defaults.coalesce': 'false',
 'apscheduler.job_defaults.max_instances': '3',
 'apscheduler.timezone': 'UTC',
})

方法三:

from pytz import utc
from apscheduler.schedulers.background import BackgroundScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ProcessPoolExecutor
jobstores = {
 'mongo': {'type': 'mongodb'},
 'default': SQLAlchemyJobStore(url='sqlite:///jobs.sqlite')
}
executors = {
 'default': {'type': 'threadpool', 'max_workers': 20},
 'processpool': ProcessPoolExecutor(max_workers=5)
}
job_defaults = {
 'coalesce': False,
 'max_instances': 3
}
scheduler = BackgroundScheduler()
# ..这里可以添加任务
scheduler.configure(jobstores=jobstores, executors=executors, job_defaults=job_defaults, timezone=utc)

五、启动调度器

除了 BlockingScheduler 外,其他非阻塞的调度器都会立即返回,运行之后的代码。

BlockingScheduler 需要将运行的代码放在start()之前

1.添加任务

1.调用add_job()  #可以传参max_instance,同一任务的运行实例个数

  当有任务中途中断,后面恢复后,有N个任务没有执行 
    coalesce:true ,恢复的任务会执行一次
    coalesce:false,恢复后的任务会执行N次配合misfire_grace_time使用
    misfire_grace_time设置时间差值,由于某些原因没有运行,再次提交时,大于设置的时间,实例不会运行。

2.装饰器scheduled_job()

立即运行可以不设置trigger参数

2.移除任务

# 根据任务实例删除
job = scheduler.add_job(myfunc, 'interval', minutes=2)
job.remove()
# 根据任务id删除
scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')
scheduler.remove_job('my_job_id')

3.暂停任务

job = scheduler.add_job(myfunc, 'interval', minutes=2)
# 根据任务实例
job.pause() #暂停
job.resume() #继续
# 根据任务id暂停
scheduler.add_job(myfunc, 'interval', minutes=2, id='my_job_id')
scheduler.pause_job('my_job_id')
scheduler.resume_job('my_job_id')

4.调度器操作

scheduler.start() #开启
scheduler.shotdown(wait=True|False) #关闭 False 无论任务是否执行,强制关闭

异常捕获

# 可以添加apscheduler日志至DEBUG级别,这样就能捕获异常信息
import logging
logging.basicConfig()
logging.getLogger('apscheduler').setLevel(logging.DEBUG)

总结

以上所述是小编给大家介绍的Python定时任务APScheduler的实例实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python获取Linux系统下的本机IP地址代码分享
Nov 07 Python
Python文件去除注释的方法
May 25 Python
Python脚本暴力破解栅栏密码
Oct 19 Python
Python程序中用csv模块来操作csv文件的基本使用教程
Mar 03 Python
浅谈使用Python内置函数getattr实现分发模式
Jan 22 Python
基于Django与ajax之间的json传输方法
May 29 Python
谈谈Python中的while循环语句
Mar 10 Python
python 含子图的gif生成时内存溢出的方法
Jul 07 Python
关于Python核心框架tornado的异步协程的2种方法详解
Aug 28 Python
Python通过Manager方式实现多个无关联进程共享数据的实现
Nov 07 Python
如何卸载python插件
Jul 08 Python
Python实现Word文档转换Markdown的示例
Dec 22 Python
基于多进程中APScheduler重复运行的解决方法
Jul 22 #Python
django云端留言板实例详解
Jul 22 #Python
python实现图片中文字分割效果
Jul 22 #Python
django用户登录验证的完整示例代码
Jul 21 #Python
Python Threading 线程/互斥锁/死锁/GIL锁
Jul 21 #Python
详解Django模版中加载静态文件配置方法
Jul 21 #Python
django数据库自动重连的方法实例
Jul 21 #Python
You might like
高分R级DC动画剧《哈莉·奎茵》第二季正式预告首发
2020/04/09 欧美动漫
PHP utf-8编码问题,utf8编码,数据库乱码,页面显示输出乱码
2013/04/08 PHP
基于php的微信公众平台开发入门实例
2015/04/15 PHP
php+redis实现商城秒杀功能
2020/11/19 PHP
js中格式化日期时间型数据函数代码
2010/11/08 Javascript
Notify - 基于jquery的消息通知插件
2011/10/18 Javascript
javascript和HTML5利用canvas构建猜牌游戏实现算法
2013/07/17 Javascript
jQuery学习总结之jQuery事件
2014/06/30 Javascript
JavaScript中getUTCSeconds()方法的使用详解
2015/06/11 Javascript
smartupload实现文件上传时获取表单数据(推荐)
2016/12/12 Javascript
基于javascript的Form表单验证
2016/12/29 Javascript
基于jQuery实现的Ajax 验证用户名唯一性实例代码
2017/06/28 jQuery
详解用webpack把我们的业务模块分开打包的方法
2017/07/20 Javascript
基于vue2.x的电商图片放大镜插件的使用
2018/01/22 Javascript
vue-cli开发时,关于ajax跨域的解决方法(推荐)
2018/02/03 Javascript
JavaScript模块管理的简单实现方式详解
2019/06/15 Javascript
layui实现下拉框三级联动
2019/07/26 Javascript
[01:05:07]DOTA2-DPC中国联赛 正赛 DLG vs Dragon BO3 第一场2月1日
2021/03/11 DOTA
利用python程序生成word和PDF文档的方法
2017/02/14 Python
python 3.7.0 安装配置方法图文教程
2018/08/27 Python
python实现把二维列表变为一维列表的方法分析
2019/10/08 Python
浅谈PyQt5中异步刷新UI和Python多线程总结
2019/12/13 Python
flask开启多线程的具体方法
2020/08/02 Python
Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法(java版+python版)
2020/12/07 Python
html5 button autofocus 属性介绍及应用
2013/01/04 HTML / CSS
Fossil加拿大官网:化石手表、手袋、首饰及配饰
2019/04/23 全球购物
实习自荐信
2013/10/13 职场文书
进步之星获奖感言
2014/02/22 职场文书
《桥》教学反思
2014/04/09 职场文书
常务副总经理任命书
2014/06/05 职场文书
改进作风怎么办发言材料
2014/08/17 职场文书
2014国庆65周年领导讲话稿(3篇)
2014/09/21 职场文书
欢迎家长标语
2014/10/08 职场文书
雾霾停课通知
2015/04/24 职场文书
2016年父亲节寄语
2015/12/04 职场文书
JVM钩子函数的使用场景详解
2021/08/23 Java/Android