基于多进程中APScheduler重复运行的解决方法


Posted in Python onJuly 22, 2019

问题

在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。

在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:

每个任务在时间到的时刻会同时执行好几遍。

注意了一下重复的数量,恰恰是gunicorn里配置的worker进程数量,显然是每个worker进程都启动了一份scheduler造成。

解决

可以想到的方案有几个:

用--preload启动gunicorn,确保scheduler只在loader的时候创建一次

另外创建一个单独的定时任务项目,单独以一个进程运行

用全局锁确保scheduler只运行一次

经过实践,只有第三个方案比较好。

preload的问题:

虽然这样可以使用scheduler创建代码只执行一次,但是问题也在于它只执行一次,重新部署以后如果用kill -HUP重启gunicorn,它并不会重启,甚至整个项目都不会更新。这是preload的副作用,除非重写部署脚本,完全重启应用。

单独进程的问题:

也是因为部署麻烦,需要多一套部署方案,虽然用Docker会比较方便,但仍然不喜欢,而且同时维护两个项目也多出很多不必要的事情。

全局锁是一个较好的方案,但问题在于找一个合适的锁。

python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。

在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案,但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发:

可以用文件锁!

于是有了这个解决方案:

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
 f = open("scheduler.lock", "wb")
 try:
  fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
  scheduler = APScheduler()
  scheduler.init_app(app)
  scheduler.start()
 except:
  pass
 def unlock():
  fcntl.flock(f, fcntl.LOCK_UN)
  f.close()
 atexit.register(unlock)

原理

init函数为flask项目初始化所调用,这里为scheduler模块的初始化部分。

首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。

如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。

最后注册一个退出事件,如果这个flask项目退出,则解锁并关闭scheduler.lock文件的锁。

以上这篇基于多进程中APScheduler重复运行的解决方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
教你安装python Django(图文)
Nov 04 Python
Python正则表达式使用范例分享
Dec 04 Python
Python实现购物程序思路及代码
Jul 24 Python
Python中函数eval和ast.literal_eval的区别详解
Aug 10 Python
python机器学习案例教程——K最近邻算法的实现
Dec 28 Python
对Python3中的input函数详解
Apr 22 Python
用python处理MS Word的实例讲解
May 08 Python
Pandas Shift函数的基础入门学习笔记
Nov 16 Python
numpy下的flatten()函数用法详解
May 27 Python
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
Jan 06 Python
python 已知三条边求三角形的角度案例
Apr 12 Python
python可视化分析绘制带趋势线的散点图和边缘直方图
Jun 25 Python
django云端留言板实例详解
Jul 22 #Python
python实现图片中文字分割效果
Jul 22 #Python
django用户登录验证的完整示例代码
Jul 21 #Python
Python Threading 线程/互斥锁/死锁/GIL锁
Jul 21 #Python
详解Django模版中加载静态文件配置方法
Jul 21 #Python
django数据库自动重连的方法实例
Jul 21 #Python
django使用django-apscheduler 实现定时任务的例子
Jul 20 #Python
You might like
将时间以距今多久的形式表示,PHP,js双版本
2012/09/25 PHP
PHP字符串中特殊符号的过滤方法介绍
2014/02/18 PHP
JavaScript 特殊字符
2007/04/05 Javascript
关于图片按比例自适应缩放的js代码
2011/10/30 Javascript
『jQuery』取指定url格式及分割函数应用
2013/04/22 Javascript
js替代copy(示例代码)
2013/11/27 Javascript
jQuery.holdReady()方法用法实例
2014/12/27 Javascript
JavaScript 表单处理实现代码
2015/04/13 Javascript
JS组件Bootstrap Select2使用方法解析
2016/05/30 Javascript
javascript运算符语法全面概述
2016/07/14 Javascript
深入理解JS DOM事件机制
2016/08/06 Javascript
jQuery 选择符详细介绍及整理
2016/12/02 Javascript
js实现楼层导航功能
2017/02/23 Javascript
Vue多系统切换实现方案
2018/06/05 Javascript
vue + typescript + video.js实现 流媒体播放 视频监控功能
2019/07/07 Javascript
koa2 数据api中间件设计模型的实现方法
2020/07/13 Javascript
ubuntu系统下使用pm2设置nodejs开机自启动的方法
2018/05/12 NodeJs
对Python中9种生成新对象的方法总结
2018/05/23 Python
Python正则表达式指南 推荐
2018/10/09 Python
python定时检测无响应进程并重启的实例代码
2019/04/22 Python
python之pexpect实现自动交互的例子
2019/07/25 Python
Python序列化pickle模块使用详解
2020/03/05 Python
pycharm 激活码及使用方式的详细教程
2020/05/12 Python
简单了解如何封装自己的Python包
2020/07/08 Python
如何让PyQt5中QWebEngineView与JavaScript交互
2020/10/21 Python
五种Python转义表示法
2020/11/27 Python
使用CSS3创建动态菜单效果
2015/07/10 HTML / CSS
全球最大的瓷器、水晶和银器零售商:Replacements
2020/06/15 全球购物
园长自我鉴定
2013/10/06 职场文书
小学生检讨书大全
2014/02/06 职场文书
《小池塘》教学反思
2014/02/28 职场文书
小学生国庆65周年演讲稿范文(2篇)
2014/09/21 职场文书
预备党员转正意见
2015/06/01 职场文书
2016暑期社会实践新闻稿
2015/11/25 职场文书
如何理解Vue前后端数据交互与显示
2021/05/10 Vue.js
如何利用python实现Simhash算法
2022/06/28 Python