浅谈django开发者模式中的autoreload是如何实现的


Posted in Python onAugust 18, 2017

在开发django应用的过程中,使用开发者模式启动服务是特别方便的一件事,只需要 python manage.py runserver 就可以运行服务,并且提供了非常人性化的autoreload机制,不需要手动重启程序就可以修改代码并看到反馈。刚接触的时候觉得这个功能比较人性化,也没觉得是什么特别高大上的技术。后来有空就想着如果是我来实现这个autoreload会怎么做,想了很久没想明白,总有些地方理不清楚,看来第一反应真是眼高手低了。于是就专门花了一些时间研究了django是怎样实现autoreload的,每一步都看源码说话,不允许有丝毫的想当然:

1、runserver命令。在进入正题之前其实有一大段废话,是关于runserver命令如何执行的,和主题关系不大,就简单带一下:

命令行键入 python manage.py runserver 后,django会去寻找runserver这个命令的执行模块,最后落在

django\contrib\staticfiles\management\commands\runserver.py模块上:

#django\contrib\staticfiles\management\commands\runserver.py
from django.core.management.commands.runserver import \
Command as RunserverCommand

class Command(RunserverCommand):
help = "Starts a lightweight Web server for development and also serves static files."

而这个Command的执行函数在这:

#django\core\management\commands\runserver.py
class Command(BaseCommand):
def run(self, **options):

"""

Runs the server, using the autoreloader if needed

"""

use_reloader = options['use_reloader']


if use_reloader:


autoreload.main(self.inner_run, None, options)

else:


self.inner_run(None, **options)

这里有关于use_reloader的判断。如果我们在启动命令中没有加--noreload,程序就会走autoreload.main这个函数,如果加了,就会走self.inner_run,直接启动应用。

其实从autoreload.main的参数也可以看出,它应该是对self.inner_run做了一些封装,autoreload的机制就在这些封装当中,下面我们继续跟。

PS: 看源码的时候发现django的command模式还是实现的很漂亮的,值得学习。

2、autoreload模块。看autoreload.main():

#django\utils\autoreload.py:
def main(main_func, args=None, kwargs=None):
if args is None:


args = ()

if kwargs is None:


kwargs = {}

if sys.platform.startswith('java'):


reloader = jython_reloader

else:


reloader = python_reloader


wrapped_main_func = check_errors(main_func)

reloader(wrapped_main_func, args, kwargs)

这里针对jpython和其他python做了区别处理,先忽略jpython;check_errors就是把对main_func进行错误处理,也先忽略。看python_reloader:

#django\utils\autoreload.py:
def python_reloader(main_func, args, kwargs):
if os.environ.get("RUN_MAIN") == "true":


thread.start_new_thread(main_func, args, kwargs)


try:



reloader_thread()


except KeyboardInterrupt:



pass

else:


try:



exit_code = restart_with_reloader()



if exit_code < 0:




os.kill(os.getpid(), -exit_code)



else:




sys.exit(exit_code)


except KeyboardInterrupt:



pass

第一次走到这里时候,环境变量中RUN_MAIN变量不是"true", 甚至都没有,所以走else, 看restart_with_reloader:

#django\utils\autoreload.py:
def restart_with_reloader():
 while True:
 args = [sys.executable] + ['-W%s' % o for o in sys.warnoptions] + sys.argv


if sys.platform == "win32":



args = ['"%s"' % arg for arg in args]


new_environ = os.environ.copy()


new_environ["RUN_MAIN"] = 'true'


exit_code = os.spawnve(os.P_WAIT, sys.executable, args, new_environ)


if exit_code != 3:



return exit_code

这里首先起一个while循环, 内部先把RUN_MAIN改成了"true",然后用os.spawnve方法开一个子进程(subprocess),看看os.spawnve的说明:

#os.py
def spawnve(mode, file, args, env):
"""spawnve(mode, file, args, env) -> integer


Execute file with arguments from args in a subprocess with the

specified environment.

If mode == P_NOWAIT return the pid of the process.

If mode == P_WAIT return the process's exit code if it exits normally;

otherwise return -SIG, where SIG is the signal that killed it. """


return _spawnvef(mode, file, args, env, execve)

其实就是再调一遍命令行,又走了一遍 python manage.py runserver。

接着看restart_with_reloader里的while循环,需要注意的是while循环退出的唯一条件是exit_code!=3。 如果子进程不退出,就一直停在 os.spawnve这一步; 如果子进程退出,而退出码不是3,while就被终结了;如果是3,继续循环,重新创建子进程。从这个逻辑可以猜想autoreload的机制:当前进程(主进程)其实啥也不干,就监视子进程的运行状况,子进程才是真正干事儿的;如果子进程以exit_code=3退出(应该由于检测到了文件修改),就再启动一遍子进程,新代码自然就生效了;如果子进程以exit_code!=3退出,主进程也结束,整个django程序就算跪了。这只是猜想,下面接着来验证。

3、子进程。上面其实有一个疑问,既然是重新启动了一次,为什么子进程不会接着生成子进程?原因就在于RUN_MAIN这个环境变量,主进程中把它改成了true,子进程走到python_reloader函数的时候:

#django\utils\autoreload.py:
def python_reloader(main_func, args, kwargs):
if os.environ.get("RUN_MAIN") == "true":


thread.start_new_thread(main_func, args, kwargs)


try:



reloader_thread()


except KeyboardInterrupt:



pass

else:


try:



exit_code = restart_with_reloader()



if exit_code < 0:




os.kill(os.getpid(), -exit_code)



else:




sys.exit(exit_code)


except KeyboardInterrupt:



pass

if条件满足了,和主进程走了不一样的逻辑分支。在这里,首先去开一个线程,运行main_func,就是上文的 Command.inner_run。这里的thread模块是这么import的:

#django\utils\autoreload.py:
from django.utils.six.moves import _thread as thread

这里six模块的作用是兼容各种python版本:

[codeblock six]
#django\utils\six.py
class _SixMetaPathImporter(object):

"""
A meta path importer to import six.moves and its submodules.

This class implements a PEP302 finder and loader. It should be compatible
with Python 2.5 and all existing versions of Python3
"""

官网说明:
# https://pythonhosted.org/six/
Six: Python 2 and 3 Compatibility Library
Six provides simple utilities for wrapping over differences between Python 2 and Python 3. It is intended to support codebases that work on both Python 2 and 3 without modification. six consists of only one Python file, so it is painless to copy into a project.

所以如果程序想在python2和python3上都能跑,且鲁邦,six是重要的工具。之后抽个时间看下six,mark一下。

然后再开一个reloader_thread:

[codeblock autoreload_reloader_thread]
#django\utils\autoreload.py:
def reloader_thread():
ensure_echo_on()

if USE_INOTIFY:


fn = inotify_code_changed

else:


fn = code_changed


while RUN_RELOADER:


change = fn()


if change == FILE_MODIFIED:



sys.exit(3) # force reload


elif change == I18N_MODIFIED:



reset_translations()


time.sleep(1)

ensure_echo_on()其实还没看明白,貌似是针对类unix系统文件处理的,先略过;
USE_INOTIFY也是系统文件操作相关的变量,根据 inotify 是否可用选择检测文件变化的方法。
while循环,每隔1秒检测一下文件状态,如果是普通文件有变化,进程退出,退出码为3,主进程一看:退出码是3,就重启子进程。。。。这样就和上面连上了;如果不是普通文件变化,而是I18N_MODIFIED(.mo后缀的文件变化,二进制库文件之类的),那就 reset_translations ,大概意思是把已加载过的库缓存清理掉,下次重新加载。

以上就是autoreload机制的流程。其中还是有些细节不是特别清楚,比如不同操作系统文件变化的检测,但都是很细节的东西了,不涉及主流程。看完这些,我又问了自己一遍,如果是让我设计autoreload机制会怎样搞。现在我的答案是:直接把 django\utils\autoreload.py 文件拿来用啊。其实这是很独立的一个模块,而且特别通用,完全可以作为通用的autoreload解决方案,我还自己写个毛啊。

这篇浅谈django开发者模式中的autoreload是如何实现的就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pip 错误unused-command-line-argument-hard-error-in-future解决办法
Jun 01 Python
Python获取Linux系统下的本机IP地址代码分享
Nov 07 Python
Python调用C语言开发的共享库方法实例
Mar 18 Python
Python遍历目录并批量更换文件名和目录名的方法
Sep 19 Python
python装饰器实例大详解
Oct 25 Python
python安装numpy&amp;安装matplotlib&amp; scipy的教程
Nov 02 Python
PyQt5每天必学之滑块控件QSlider
Apr 20 Python
在Python中画图(基于Jupyter notebook的魔法函数)
Oct 28 Python
Python发起请求提示UnicodeEncodeError错误代码解决方法
Apr 21 Python
python神经网络编程实现手写数字识别
May 27 Python
Django之腾讯云短信的实现
Jun 12 Python
Keras loss函数剖析
Jul 06 Python
Python绑定方法与非绑定方法详解
Aug 18 #Python
python字典DICT类型合并详解
Aug 17 #Python
Python时间的精准正则匹配方法分析
Aug 17 #Python
Python实现运行其他程序的四种方式实例分析
Aug 17 #Python
python进阶_浅谈面向对象进阶
Aug 17 #Python
Python 比较两个数组的元素的异同方法
Aug 17 #Python
python使用opencv读取图片的实例
Aug 17 #Python
You might like
php缩小png图片不损失透明色的解决方法
2013/12/25 PHP
PHP获取网站中各文章的第一张图片的代码示例
2016/05/20 PHP
php简单读取.vcf格式文件的方法示例
2017/09/02 PHP
关于JavaScript的gzip静态压缩方法
2007/01/05 Javascript
JS实现在Repeater控件中创建可隐藏区域的代码
2010/09/16 Javascript
jQuery弹性滑动导航菜单实现思路及代码
2013/05/02 Javascript
javascript中scrollTop详解
2015/04/13 Javascript
jquery移除了live()、die(),新版事件绑定on()、off()的方法
2016/10/26 Javascript
深入了解JavaScript的逻辑运算符(与、或)
2016/12/20 Javascript
Vue.js 2.0 移动端拍照压缩图片预览及上传实例
2017/04/27 Javascript
最后说说Vue2 SSR 的 Cookies 问题
2018/05/25 Javascript
jQuery插件实现的日历功能示例【附源码下载】
2018/09/07 jQuery
JS 封装父页面子页面交互接口的实例代码
2019/06/25 Javascript
Node.js 实现简单的无侵入式缓存框架的方法
2019/07/21 Javascript
微信小程序 数据缓存实现方法详解
2019/08/26 Javascript
JS工厂模式开发实践案例分析
2019/10/17 Javascript
[46:12]完美世界DOTA2联赛循环赛 DM vs Matador BO2第一场 11.04
2020/11/04 DOTA
Python3字符串学习教程
2015/08/20 Python
Python反转序列的方法实例分析
2018/03/21 Python
使用python批量读取word文档并整理关键信息到excel表格的实例
2018/11/07 Python
更新修改后的Python模块方法
2019/03/03 Python
python将字符串转变成dict格式的实现
2019/11/18 Python
Python 去除字符串中指定字符串
2020/03/05 Python
Python如何使用27行代码绘制星星图
2020/07/20 Python
python 贪心算法的实现
2020/09/18 Python
魔幻般冒泡背景的CSS3按钮动画
2016/02/27 HTML / CSS
CSS3 Flex 弹性布局实例代码详解
2018/11/01 HTML / CSS
AmazeUI 等分网格的实现示例
2020/08/25 HTML / CSS
GLAMGLOW格莱魅美国官网:美国知名的面膜品牌
2016/12/31 全球购物
ALDI奥乐齐官方海外旗舰店:德国百年超市
2017/12/27 全球购物
经典英文广告词
2014/03/18 职场文书
家属答谢词
2015/01/05 职场文书
网络管理员岗位职责
2015/02/12 职场文书
2015年安全生产管理工作总结
2015/05/25 职场文书
电影红河谷观后感
2015/06/11 职场文书
Nginx域名转发使用场景代码实例
2021/03/31 Servers