详解Python编程中对Monkey Patch猴子补丁开发方式的运用


Posted in Python onMay 27, 2016

Monkey patch就是在运行时对已有的代码进行修改,达到hot patch的目的。Eventlet中大量使用了该技巧,以替换标准库中的组件,比如socket。首先来看一下最简单的monkey patch的实现。

class Foo(object):
  def bar(self):
    print 'Foo.bar'

def bar(self):
  print 'Modified bar'

Foo().bar()

Foo.bar = bar

Foo().bar()

由于Python中的名字空间是开放,通过dict来实现,所以很容易就可以达到patch的目的。

Python namespace

Python有几个namespace,分别是

  • locals
  • globals
  • builtin

其中定义在函数内声明的变量属于locals,而模块内定义的函数属于globals。

Python module Import & Name Lookup

当我们import一个module时,python会做以下几件事情

  • 导入一个module
  • 将module对象加入到sys.modules,后续对该module的导入将直接从该dict中获得
  • 将module对象加入到globals dict中

当我们引用一个模块时,将会从globals中查找。这里如果要替换掉一个标准模块,我们得做以下两件事情

将我们自己的module加入到sys.modules中,替换掉原有的模块。如果被替换模块还没加载,那么我们得先对其进行加载,否则第一次加载时,还会加载标准模块。(这里有一个import hook可以用,不过这需要我们自己实现该hook,可能也可以使用该方法hook module import)
如果被替换模块引用了其他模块,那么我们也需要进行替换,但是这里我们可以修改globals dict,将我们的module加入到globals以hook这些被引用的模块。
Eventlet Patcher Implementation

现在我们先来看一下eventlet中的Patcher的调用代码吧,这段代码对标准的ftplib做monkey patch,将eventlet的GreenSocket替换标准的socket。

from eventlet import patcher

# *NOTE: there might be some funny business with the "SOCKS" module
# if it even still exists
from eventlet.green import socket

patcher.inject('ftplib', globals(), ('socket', socket))

del patcher

inject函数会将eventlet的socket模块注入标准的ftplib中,globals dict被传入以做适当的修改。

让我们接着来看一下inject的实现。

__exclude = set(('__builtins__', '__file__', '__name__'))

def inject(module_name, new_globals, *additional_modules):
  """Base method for "injecting" greened modules into an imported module. It
  imports the module specified in *module_name*, arranging things so
  that the already-imported modules in *additional_modules* are used when
  *module_name* makes its imports.

  *new_globals* is either None or a globals dictionary that gets populated
  with the contents of the *module_name* module. This is useful when creating
  a "green" version of some other module.

  *additional_modules* should be a collection of two-element tuples, of the
  form (, ). If it's not specified, a default selection of
  name/module pairs is used, which should cover all use cases but may be
  slower because there are inevitably redundant or unnecessary imports.
  """
  if not additional_modules:
    # supply some defaults
    additional_modules = (
      _green_os_modules() +
      _green_select_modules() +
      _green_socket_modules() +
      _green_thread_modules() +
      _green_time_modules())

  ## Put the specified modules in sys.modules for the duration of the import
  saved = {}
  for name, mod in additional_modules:
    saved[name] = sys.modules.get(name, None)
    sys.modules[name] = mod

  ## Remove the old module from sys.modules and reimport it while
  ## the specified modules are in place
  old_module = sys.modules.pop(module_name, None)
  try:
    module = __import__(module_name, {}, {}, module_name.split('.')[:-1])

    if new_globals is not None:
      ## Update the given globals dictionary with everything from this new module
      for name in dir(module):
        if name not in __exclude:
          new_globals[name] = getattr(module, name)

    ## Keep a reference to the new module to prevent it from dying
    sys.modules['__patched_module_' + module_name] = module
  finally:
    ## Put the original module back
    if old_module is not None:
      sys.modules[module_name] = old_module
    elif module_name in sys.modules:
      del sys.modules[module_name]

    ## Put all the saved modules back
    for name, mod in additional_modules:
      if saved[name] is not None:
        sys.modules[name] = saved[name]
      else:
        del sys.modules[name]

  return module

注释比较清楚的解释了代码的意图。代码还是比较容易理解的。这里有一个函数__import__,这个函数提供一个模块名(字符串),来加载一个模块。而我们import或者reload时提供的名字是对象。

if new_globals is not None:
  ## Update the given globals dictionary with everything from this new module
  for name in dir(module):
    if name not in __exclude:
      new_globals[name] = getattr(module, name)

这段代码的作用是将标准的ftplib中的对象加入到eventlet的ftplib模块中。因为我们在eventlet.ftplib中调用了inject,传入了globals,而inject中我们手动__import__了这个module,只得到了一个模块对象,所以模块中的对象不会被加入到globals中,需要手动添加。
这里为什么不用from ftplib import *的缘故,应该是因为这样无法做到完全替换ftplib的目的。因为from … import *会根据__init__.py中的__all__列表来导入public symbol,而这样对于下划线开头的private symbol将不会导入,无法做到完全patch。

Python 相关文章推荐
python实现k均值算法示例(k均值聚类算法)
Mar 16 Python
Python中的赋值、浅拷贝、深拷贝介绍
Mar 09 Python
使用Nginx+uWsgi实现Python的Django框架站点动静分离
Mar 21 Python
Python建立Map写Excel表实例解析
Jan 17 Python
使用Django简单编写一个XSS平台的方法步骤
Mar 25 Python
python mysql断开重连的实现方法
Jul 26 Python
python实现简单成绩录入系统
Sep 19 Python
python字典和json.dumps()的遇到的坑分析
Mar 11 Python
keras中的卷积层&池化层的用法
May 22 Python
Python中zip函数如何使用
Jun 04 Python
python属于哪种语言
Aug 16 Python
python PIL模块的基本使用
Sep 29 Python
Python程序中的观察者模式结构编写示例
May 27 #Python
Windows下python2.7.8安装图文教程
May 26 #Python
Java Web开发过程中登陆模块的验证码的实现方式总结
May 25 #Python
剖析Python的Twisted框架的核心特性
May 25 #Python
实例解析Python的Twisted框架中Deferred对象的用法
May 25 #Python
详解Python的Twisted框架中reactor事件管理器的用法
May 25 #Python
使用Python的Twisted框架编写非阻塞程序的代码示例
May 25 #Python
You might like
PHP 5.0对象模型深度探索之绑定
2006/09/05 PHP
php 数组二分法查找函数代码
2010/02/16 PHP
浅析is_writable的php实现
2013/06/18 PHP
PHP 正则表达式小结
2015/02/12 PHP
PHP代码优化技巧小结
2015/09/29 PHP
PHP实践教程之过滤、验证、转义与密码详解
2017/07/24 PHP
强制设为首页代码
2006/06/19 Javascript
JQuery Easyui Tree的oncheck事件实现代码
2010/05/28 Javascript
jQuery+CSS 半开折叠效果原理及代码(自写)
2013/03/04 Javascript
js星星评分效果
2014/07/24 Javascript
一个支持任意尺寸的图片上下左右滑动效果
2014/08/24 Javascript
不同js异步函数同步的实现方法
2016/05/28 Javascript
Bootstrap实现弹性搜索框
2016/07/11 Javascript
浅谈jquery采用attr修改form表单enctype不起作用的问题
2016/11/25 Javascript
js实现模糊匹配功能
2017/02/15 Javascript
vue元素实现动画过渡效果
2017/07/01 Javascript
JS实现自定义状态栏动画文字效果示例
2017/10/12 Javascript
[53:43]VP vs NewBee Supermajor 胜者组 BO3 第三场 6.5
2018/06/06 DOTA
Python压缩解压缩zip文件及破解zip文件密码的方法
2015/11/04 Python
Python反射的用法实例分析
2018/02/11 Python
Python实现的朴素贝叶斯算法经典示例【测试可用】
2018/06/13 Python
python简单验证码识别的实现方法
2019/05/10 Python
Pycharm新建模板默认添加个人信息的实例
2019/07/15 Python
django使用django-apscheduler 实现定时任务的例子
2019/07/20 Python
python flask搭建web应用教程
2019/11/19 Python
在pytorch中实现只让指定变量向后传播梯度
2020/02/29 Python
python mysql自增字段AUTO_INCREMENT值的修改方式
2020/05/18 Python
通过实例简单了解python yield使用方法
2020/08/06 Python
如何通过python实现IOU计算代码实例
2020/11/02 Python
CSS3中currentColor关键字的妙用
2016/02/27 HTML / CSS
培训心得体会
2013/12/29 职场文书
运动会入场解说词
2014/02/07 职场文书
求职意向书
2014/04/01 职场文书
羽毛球比赛策划方案
2014/06/13 职场文书
英文导游词
2015/02/13 职场文书
mysql 8.0.24 安装配置方法图文教程
2021/05/12 MySQL