基于多进程中APScheduler重复运行的解决方法


Posted in Python onJuly 22, 2019

问题

在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。

在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:

每个任务在时间到的时刻会同时执行好几遍。

注意了一下重复的数量,恰恰是gunicorn里配置的worker进程数量,显然是每个worker进程都启动了一份scheduler造成。

解决

可以想到的方案有几个:

用--preload启动gunicorn,确保scheduler只在loader的时候创建一次

另外创建一个单独的定时任务项目,单独以一个进程运行

用全局锁确保scheduler只运行一次

经过实践,只有第三个方案比较好。

preload的问题:

虽然这样可以使用scheduler创建代码只执行一次,但是问题也在于它只执行一次,重新部署以后如果用kill -HUP重启gunicorn,它并不会重启,甚至整个项目都不会更新。这是preload的副作用,除非重写部署脚本,完全重启应用。

单独进程的问题:

也是因为部署麻烦,需要多一套部署方案,虽然用Docker会比较方便,但仍然不喜欢,而且同时维护两个项目也多出很多不必要的事情。

全局锁是一个较好的方案,但问题在于找一个合适的锁。

python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。

在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案,但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发:

可以用文件锁!

于是有了这个解决方案:

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
 f = open("scheduler.lock", "wb")
 try:
  fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
  scheduler = APScheduler()
  scheduler.init_app(app)
  scheduler.start()
 except:
  pass
 def unlock():
  fcntl.flock(f, fcntl.LOCK_UN)
  f.close()
 atexit.register(unlock)

原理

init函数为flask项目初始化所调用,这里为scheduler模块的初始化部分。

首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。

如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。

最后注册一个退出事件,如果这个flask项目退出,则解锁并关闭scheduler.lock文件的锁。

以上这篇基于多进程中APScheduler重复运行的解决方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python装饰器验证配置文件示例
Feb 24 Python
Python中format()格式输出全解
Apr 12 Python
Ubuntu18.04中Python2.7与Python3.6环境切换
Jun 14 Python
python字典改变value值方法总结
Jun 21 Python
python实现日志按天分割
Jul 22 Python
基于python+selenium的二次封装的实现
Jan 06 Python
Python3连接Mysql8.0遇到的问题及处理步骤
Feb 17 Python
Python argparse模块使用方法解析
Feb 20 Python
python+selenium+PhantomJS抓取网页动态加载内容
Feb 25 Python
Python使用graphviz画流程图过程解析
Mar 31 Python
python实现调用摄像头并拍照发邮箱
Apr 27 Python
Python爬取用户观影数据并分析用户与电影之间的隐藏信息!
Jun 29 Python
django云端留言板实例详解
Jul 22 #Python
python实现图片中文字分割效果
Jul 22 #Python
django用户登录验证的完整示例代码
Jul 21 #Python
Python Threading 线程/互斥锁/死锁/GIL锁
Jul 21 #Python
详解Django模版中加载静态文件配置方法
Jul 21 #Python
django数据库自动重连的方法实例
Jul 21 #Python
django使用django-apscheduler 实现定时任务的例子
Jul 20 #Python
You might like
浅析php过滤html字符串,防止SQL注入的方法
2013/07/02 PHP
PHP SPL标准库之接口(Interface)详解
2015/05/11 PHP
PHP实现的限制IP投票程序IP来源分析
2016/05/04 PHP
javascript基础的动画教程,直观易懂
2007/01/10 Javascript
jQuery 判断页面元素是否存在的代码
2009/08/14 Javascript
基于Jquery插件开发之图片放大镜效果(仿淘宝)
2011/11/19 Javascript
javascript重复绑定事件造成的后果说明
2013/03/02 Javascript
JavaScript异步编程Promise模式的6个特性
2014/04/03 Javascript
jfinal与bootstrap的登录跳转实战演习
2015/09/22 Javascript
深入理解angularjs过滤器
2016/05/25 Javascript
angularjs+bootstrap菜单的使用示例代码
2017/03/07 Javascript
ES6新特性之类(Class)和继承(Extends)相关概念与用法分析
2017/05/24 Javascript
ajax+node+request爬取网络图片的实例(宅男福利)
2017/08/28 Javascript
详解使用create-react-app快速构建React开发环境
2018/05/16 Javascript
详解vue-cli中使用rem,vue自适应
2019/05/06 Javascript
js实现点击图片在屏幕中间弹出放大效果
2019/09/11 Javascript
微信小程序实现轨迹回放的示例代码
2019/12/13 Javascript
JavaScript实现滑动门效果
2020/01/18 Javascript
[56:58]VP vs Optic 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
python爬虫框架scrapy实战之爬取京东商城进阶篇
2017/04/24 Python
Python实现求两个csv文件交集的方法
2017/09/06 Python
pyftplib中文乱码问题解决方案
2020/01/11 Python
Python selenium抓取虎牙短视频代码实例
2020/03/02 Python
virtualenv介绍及简明教程
2020/06/23 Python
详解python datetime模块
2020/08/17 Python
多重CSS背景动画实现方法示例
2014/04/04 HTML / CSS
腾讯公司的一个sql题
2013/01/22 面试题
校园公益广告语
2014/03/13 职场文书
销售经理岗位职责
2014/03/16 职场文书
会计求职信
2014/05/29 职场文书
学校查摆问题整改措施
2014/09/28 职场文书
教师文明餐桌光盘行动倡议书
2015/04/28 职场文书
2015教师年度思想工作总结
2015/04/30 职场文书
我的中国梦心得体会范文
2016/01/05 职场文书
Python通过m3u8文件下载合并ts视频的操作
2021/04/16 Python
Python实现简单得递归下降Parser
2022/05/02 Python