浅谈django开发者模式中的autoreload是如何实现的


Posted in Python onAugust 18, 2017

在开发django应用的过程中,使用开发者模式启动服务是特别方便的一件事,只需要 python manage.py runserver 就可以运行服务,并且提供了非常人性化的autoreload机制,不需要手动重启程序就可以修改代码并看到反馈。刚接触的时候觉得这个功能比较人性化,也没觉得是什么特别高大上的技术。后来有空就想着如果是我来实现这个autoreload会怎么做,想了很久没想明白,总有些地方理不清楚,看来第一反应真是眼高手低了。于是就专门花了一些时间研究了django是怎样实现autoreload的,每一步都看源码说话,不允许有丝毫的想当然:

1、runserver命令。在进入正题之前其实有一大段废话,是关于runserver命令如何执行的,和主题关系不大,就简单带一下:

命令行键入 python manage.py runserver 后,django会去寻找runserver这个命令的执行模块,最后落在

django\contrib\staticfiles\management\commands\runserver.py模块上:

#django\contrib\staticfiles\management\commands\runserver.py
from django.core.management.commands.runserver import \
Command as RunserverCommand

class Command(RunserverCommand):
help = "Starts a lightweight Web server for development and also serves static files."

而这个Command的执行函数在这:

#django\core\management\commands\runserver.py
class Command(BaseCommand):
def run(self, **options):

"""

Runs the server, using the autoreloader if needed

"""

use_reloader = options['use_reloader']


if use_reloader:


autoreload.main(self.inner_run, None, options)

else:


self.inner_run(None, **options)

这里有关于use_reloader的判断。如果我们在启动命令中没有加--noreload,程序就会走autoreload.main这个函数,如果加了,就会走self.inner_run,直接启动应用。

其实从autoreload.main的参数也可以看出,它应该是对self.inner_run做了一些封装,autoreload的机制就在这些封装当中,下面我们继续跟。

PS: 看源码的时候发现django的command模式还是实现的很漂亮的,值得学习。

2、autoreload模块。看autoreload.main():

#django\utils\autoreload.py:
def main(main_func, args=None, kwargs=None):
if args is None:


args = ()

if kwargs is None:


kwargs = {}

if sys.platform.startswith('java'):


reloader = jython_reloader

else:


reloader = python_reloader


wrapped_main_func = check_errors(main_func)

reloader(wrapped_main_func, args, kwargs)

这里针对jpython和其他python做了区别处理,先忽略jpython;check_errors就是把对main_func进行错误处理,也先忽略。看python_reloader:

#django\utils\autoreload.py:
def python_reloader(main_func, args, kwargs):
if os.environ.get("RUN_MAIN") == "true":


thread.start_new_thread(main_func, args, kwargs)


try:



reloader_thread()


except KeyboardInterrupt:



pass

else:


try:



exit_code = restart_with_reloader()



if exit_code < 0:




os.kill(os.getpid(), -exit_code)



else:




sys.exit(exit_code)


except KeyboardInterrupt:



pass

第一次走到这里时候,环境变量中RUN_MAIN变量不是"true", 甚至都没有,所以走else, 看restart_with_reloader:

#django\utils\autoreload.py:
def restart_with_reloader():
 while True:
 args = [sys.executable] + ['-W%s' % o for o in sys.warnoptions] + sys.argv


if sys.platform == "win32":



args = ['"%s"' % arg for arg in args]


new_environ = os.environ.copy()


new_environ["RUN_MAIN"] = 'true'


exit_code = os.spawnve(os.P_WAIT, sys.executable, args, new_environ)


if exit_code != 3:



return exit_code

这里首先起一个while循环, 内部先把RUN_MAIN改成了"true",然后用os.spawnve方法开一个子进程(subprocess),看看os.spawnve的说明:

#os.py
def spawnve(mode, file, args, env):
"""spawnve(mode, file, args, env) -> integer


Execute file with arguments from args in a subprocess with the

specified environment.

If mode == P_NOWAIT return the pid of the process.

If mode == P_WAIT return the process's exit code if it exits normally;

otherwise return -SIG, where SIG is the signal that killed it. """


return _spawnvef(mode, file, args, env, execve)

其实就是再调一遍命令行,又走了一遍 python manage.py runserver。

接着看restart_with_reloader里的while循环,需要注意的是while循环退出的唯一条件是exit_code!=3。 如果子进程不退出,就一直停在 os.spawnve这一步; 如果子进程退出,而退出码不是3,while就被终结了;如果是3,继续循环,重新创建子进程。从这个逻辑可以猜想autoreload的机制:当前进程(主进程)其实啥也不干,就监视子进程的运行状况,子进程才是真正干事儿的;如果子进程以exit_code=3退出(应该由于检测到了文件修改),就再启动一遍子进程,新代码自然就生效了;如果子进程以exit_code!=3退出,主进程也结束,整个django程序就算跪了。这只是猜想,下面接着来验证。

3、子进程。上面其实有一个疑问,既然是重新启动了一次,为什么子进程不会接着生成子进程?原因就在于RUN_MAIN这个环境变量,主进程中把它改成了true,子进程走到python_reloader函数的时候:

#django\utils\autoreload.py:
def python_reloader(main_func, args, kwargs):
if os.environ.get("RUN_MAIN") == "true":


thread.start_new_thread(main_func, args, kwargs)


try:



reloader_thread()


except KeyboardInterrupt:



pass

else:


try:



exit_code = restart_with_reloader()



if exit_code < 0:




os.kill(os.getpid(), -exit_code)



else:




sys.exit(exit_code)


except KeyboardInterrupt:



pass

if条件满足了,和主进程走了不一样的逻辑分支。在这里,首先去开一个线程,运行main_func,就是上文的 Command.inner_run。这里的thread模块是这么import的:

#django\utils\autoreload.py:
from django.utils.six.moves import _thread as thread

这里six模块的作用是兼容各种python版本:

[codeblock six]
#django\utils\six.py
class _SixMetaPathImporter(object):

"""
A meta path importer to import six.moves and its submodules.

This class implements a PEP302 finder and loader. It should be compatible
with Python 2.5 and all existing versions of Python3
"""

官网说明:
# https://pythonhosted.org/six/
Six: Python 2 and 3 Compatibility Library
Six provides simple utilities for wrapping over differences between Python 2 and Python 3. It is intended to support codebases that work on both Python 2 and 3 without modification. six consists of only one Python file, so it is painless to copy into a project.

所以如果程序想在python2和python3上都能跑,且鲁邦,six是重要的工具。之后抽个时间看下six,mark一下。

然后再开一个reloader_thread:

[codeblock autoreload_reloader_thread]
#django\utils\autoreload.py:
def reloader_thread():
ensure_echo_on()

if USE_INOTIFY:


fn = inotify_code_changed

else:


fn = code_changed


while RUN_RELOADER:


change = fn()


if change == FILE_MODIFIED:



sys.exit(3) # force reload


elif change == I18N_MODIFIED:



reset_translations()


time.sleep(1)

ensure_echo_on()其实还没看明白,貌似是针对类unix系统文件处理的,先略过;
USE_INOTIFY也是系统文件操作相关的变量,根据 inotify 是否可用选择检测文件变化的方法。
while循环,每隔1秒检测一下文件状态,如果是普通文件有变化,进程退出,退出码为3,主进程一看:退出码是3,就重启子进程。。。。这样就和上面连上了;如果不是普通文件变化,而是I18N_MODIFIED(.mo后缀的文件变化,二进制库文件之类的),那就 reset_translations ,大概意思是把已加载过的库缓存清理掉,下次重新加载。

以上就是autoreload机制的流程。其中还是有些细节不是特别清楚,比如不同操作系统文件变化的检测,但都是很细节的东西了,不涉及主流程。看完这些,我又问了自己一遍,如果是让我设计autoreload机制会怎样搞。现在我的答案是:直接把 django\utils\autoreload.py 文件拿来用啊。其实这是很独立的一个模块,而且特别通用,完全可以作为通用的autoreload解决方案,我还自己写个毛啊。

这篇浅谈django开发者模式中的autoreload是如何实现的就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
理解python多线程(python多线程简明教程)
Jun 09 Python
python中反射用法实例
Mar 27 Python
Python3访问并下载网页内容的方法
Jul 28 Python
selenium3+python3环境搭建教程图解
Dec 07 Python
在python 中实现运行多条shell命令
Jan 07 Python
Python实现二叉树的常见遍历操作总结【7种方法】
Mar 06 Python
Python+OpenCV+pyQt5录制双目摄像头视频的实例
Jun 28 Python
使用Python在Windows下获取USB PID&amp;VID的方法
Jul 02 Python
在SQLite-Python中实现返回、查询中文字段的方法
Jul 17 Python
python3 实现调用串口功能
Dec 26 Python
Python生成并下载文件后端代码实例
Aug 31 Python
Python实现DBSCAN聚类算法并样例测试
Jun 22 Python
Python绑定方法与非绑定方法详解
Aug 18 #Python
python字典DICT类型合并详解
Aug 17 #Python
Python时间的精准正则匹配方法分析
Aug 17 #Python
Python实现运行其他程序的四种方式实例分析
Aug 17 #Python
python进阶_浅谈面向对象进阶
Aug 17 #Python
Python 比较两个数组的元素的异同方法
Aug 17 #Python
python使用opencv读取图片的实例
Aug 17 #Python
You might like
B2K与车机的中波PK
2021/03/02 无线电
香妃
2021/03/03 冲泡冲煮
下载文件的点击数回填
2006/10/09 PHP
php若干单维数组遍历方法的比较
2011/09/20 PHP
PHP连接SQLServer2005的方法
2015/01/27 PHP
PHP 7安装使用体验之性能大提升,兼容性强,扩展支持不够(升级PHP要谨慎)
2017/07/27 PHP
Javascript 网页水印(非图片水印)实现代码
2010/03/01 Javascript
jquery.simple.tree插件 更简单,兼容性更好的无限树插件
2010/09/03 Javascript
基于jquery的时间段实现代码
2012/08/02 Javascript
json数据处理技巧(字段带空格、增加字段、排序等等)
2013/06/14 Javascript
JavaScript中为什么null==0为false而null大于=0为true(个人研究)
2013/09/16 Javascript
js 动态加载事件的几种方法总结
2013/12/25 Javascript
jQuery学习笔记之 Ajax操作篇(一) - 数据加载
2014/06/23 Javascript
jQuery+CSS实现的网页二级下滑菜单效果
2015/08/25 Javascript
javascript学习总结之js使用技巧
2015/09/02 Javascript
jQuery validate插件功能与用法详解
2016/12/15 Javascript
es6中的解构赋值、扩展运算符和rest参数使用详解
2017/09/28 Javascript
JS实现基于拖拽改变物体大小的方法
2018/01/23 Javascript
微信小程序实现倒计时调用相机自动拍照功能
2018/06/10 Javascript
nodejs require js文件入口,在package.json中指定默认入口main方法
2018/10/10 NodeJs
vue实现循环滚动列表
2020/06/30 Javascript
vue如何使用rem适配
2021/02/06 Vue.js
centos系统升级python 2.7.3
2014/07/03 Python
python控制nao机器人身体动作实例详解
2019/04/29 Python
如何在Windows中安装多个python解释器
2020/06/16 Python
使用Python项目生成所有依赖包的清单方式
2020/07/13 Python
JACK & JONES瑞典官方网站:杰克琼斯欧式风格男装
2017/12/23 全球购物
Stutterheim瑞典:瑞典高级外套时装品牌
2019/06/24 全球购物
美国在线购买内衣网站:HerRoom
2020/02/22 全球购物
小学爱国卫生月活动总结
2014/06/30 职场文书
学校运动会广播稿范文
2014/10/02 职场文书
感恩节寄语2015
2015/03/24 职场文书
2015年组织部工作总结
2015/04/03 职场文书
高中家长意见怎么写
2015/06/03 职场文书
职工的安全责任书范文!
2019/07/02 职场文书
Li list-style-image 图片垂直居中实现方法
2023/05/21 HTML / CSS