python with提前退出遇到的坑与解决方案


Posted in Python onJanuary 05, 2018

问题的起源

早些时候使用with实现了一版全局进程锁,希望实现以下效果:

with CacheLock("test_lock", 10):
  #如果抢占到锁,那么就执行这段代码
  # 否则,让with提前退出

全局进程锁本身不用多说,大部分都依靠外部的缓存来实现的,redis上用的是setnx,有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力

当时同样写了单元测试来测试这段代码的有效性:

with CacheLock("test_lock", 10):
  value = cache.get("test_lock")
  self.assertEqual(value, 1)
  with CacheLock("test_lock", 10):
    # 不会进到这里
    self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)

看起来非常完美地通过了。

这样的一个全局进程锁是通过 __enter__ 方法抛出异常, __exit__ 方法中捕获异常来实现的:

class CacheLock(object):
  def __init__(self, lock_key, lock_timeout):
    self.lock_key = lock_key
    self.lock_timeout = lock_timeout
    self.success = False
  def __enter__(self):
    self.success = cache.lock(self.lock_key, self.lock_timeout)
    if self.success:
      return self
    else:
      raise LockException("not have lock")
  def __exit__(self, exc_type, exc_value, traceback):
    #没有抢到锁的时候,啥都不做?
    if self.success:
      await cache.delete(self.lock_key)
    if isinstance(exc_value, LockException):
      return True
    if exc_type:
      raise exc_value

看起来还不错,毕竟单元测试都过了。

但是,这样的实现是有问题的:

原因在于 __exit__ 的执行不是包在 __enter__ 之外的,因此 __enter__ 抛出的异常,不会被 __exit__ 捕获。

上面的单元测试恰好通过,是因为其中有两个with语句,外面的with 捕获的其实是里面的 __enter__ 抛出的异常

使用改进后的单元测试:

cache.set("test_lock",1)
with CacheLock("test_lock", 10):
  self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)

就会发现单元测试过不去了。

这个问题是我试图使用with实现另一个逻辑:AB测试 时出现的,同样是 __enter__ 抛出异常, __exit__ 试图捕获:

import operator
class EarlyExit(Exception):
  pass
class ABContext(object):
  """AB测试上下文
  >>> with ABContext(newVersion, consts.ABEnum.layer2):
  >>>   # dosomething
  """
  def __init__(self, version, ab_layer, relationship="eq"):
    self.version = version
    self.ab_layer = ab_layer
    # 如果不存在这种操作符,那就提前报错
    self.relationship = getattr(operator, relationship)
  def __enter__(self):
    # 如果不满足条件,等于不执行上下文中的内容
    if not self.relationship(self.version, self.ab_layer.value):
      raise EarlyExit("not match")
    return self
  def __exit__(self, exc_type, exc_value, traceback):
    if exc_value is None:
      return True
    if isinstance(exc_value, EarlyExit):
      return True
    if exc_type:
      raise exc_value
    return True

调试没有通过的单元测试的时候发现,抛出异常后根本没有执行到 __enter__

第一种解决方案

既然想明白了with的执行顺序,那么第一种解决方案就呼之欲出了:既然__exit__捕获的异常在__enter__执行完成之后,那么我们提供一个函数确认一下就可以了,把ABContext实现改成这样:

def ensure(self):
    if not self.relationship(self.version, self.ab_layer.value):
      raise EarlyExit("not match")
  def __enter__(self):
    # 如果不满足条件,等于不执行上下文中的内容
    return self

使用的时候:

with ABContext(newVersion, consts.ABEnum.layer2) as c:
  c.ensure()
  # 执行其他的想要执行的代码

但这样的解决方法并不优雅,万一使用这个ABContext的时候忘记用ensure方法了,那么就等于完全没用这个Context方法,太容易失误了,而且代码也失去了Pythonic的性质

第二种解决方法

翻了一下contextlib的标准库文档,发现有一个已经废弃的函数: contextlib.nested

from contextlib import nested
with nested(*managers):
  do_something()

可以执行多个上下文.

from contextlib import nested
with nested(A(), B(), C()) as (X, Y, Z):
  do_something()
# is equivalent to this:
m1, m2, m3 = A(), B(), C()
with m1 as X:
  with m2 as Y:
    with m3 as Z:
      do_something()

这个废弃的特性在Python2.7之后,可以直接由with关键字执行,形如:

with context1,context2:
  #do something

这个特性还不错,根据 __enter__ 的执行顺序的话,那么我们可以实现一个由第一个 context的__exit__来捕获,第二个context的__enter__来抛出异常,

如同这样:

class AlwaySuccessContext(object):
  def __enter__(self):
    return self
  def __exit__(self, exc_type, exc_value, traceback):
    if isinstance(exc_value, EarlyExit):
      return True
    if exc_type:
      raise exc_value
    return True

结合前面我们实现的ABContext的使用是这样的:

def test_context_noteq(self):
    obj = MagicMock(return_value=True)
    with AlwaySuccessContext(), ABContext(2, const.ABTestEnum.control):
      self.assertFalse(obj())
    obj.assert_not_called()

good,单元测试就这样过了

能不能再给力点?

确实,在with里要写俩context有点蛋疼,并不是特别优雅,能不能还是回到最初的那种用法:我们只用写一条context,这一个context做到了两个context的事情?

要是nested那个函数还在就好了。。要的其实就是它的功能。

Python3.1之后contextlib提供了一个ExitStack的功能来提供一个模拟的功能,但试了一下发现,实际上只调用了__enter__方法,但没有做对应的异常捕获

第三种解决方案

哈哈哈哈把自己绕到圈子里去了,想了一下,同样是一个缩进的代码块,为什么不能用if来解决呢!不就是个:

def test_context_noteq(self):
    # 不等的时候,不会执行with里的内容
    obj = MagicMock(return_value=True)
    context = ABContext(2, const.ABTestEnum.control)
    # print(type(context))
    if ABContext(2, const.ABTestEnum.control):
      self.assertFalse(obj())
    obj.assert_not_called()

TIL

总之学到了contextlib里的一些有用的函数和装饰器,也第一次发现with可以放个context

虽然放多个context的动态构造还有待研究,with 后面的代码块也不能填一个元组或者列表。。惆怅。。

Python 相关文章推荐
windows下安装python paramiko模块的代码
Feb 10 Python
Python标准库06之子进程 (subprocess包) 详解
Dec 07 Python
python使用TensorFlow进行图像处理的方法
Feb 28 Python
Python实现基于POS算法的区块链
Aug 07 Python
python之super的使用小结
Aug 13 Python
使用tensorflow实现线性svm
Sep 07 Python
浅谈python实现Google翻译PDF,解决换行的问题
Nov 28 Python
Python面向对象总结及类与正则表达式详解
Apr 18 Python
python覆盖写入,追加写入的实例
Jun 26 Python
Python上下文管理器用法及实例解析
Nov 11 Python
Python中Yield的基本用法
Oct 18 Python
Python3中FuzzyWuzzy库实例用法
Nov 18 Python
微信跳一跳小游戏python脚本
Jan 05 #Python
Python通过OpenCV的findContours获取轮廓并切割实例
Jan 05 #Python
Python+selenium实现截图图片并保存截取的图片
Jan 05 #Python
微信跳一跳辅助python代码实现
Jan 05 #Python
使用python为mysql实现restful接口
Jan 05 #Python
微信跳一跳python代码实现
Jan 05 #Python
python+opencv轮廓检测代码解析
Jan 05 #Python
You might like
php类的扩展和继承用法实例
2015/06/20 PHP
由prototype_1.3.1进入javascript殿堂-类的初探
2006/11/06 Javascript
关于Javascript 的 prototype问题。
2007/01/03 Javascript
非jQuery实现照片散落桌子上,单击放大的LightBox效果
2014/11/28 Javascript
javascript中Date()函数在各浏览器中的显示效果
2015/06/18 Javascript
Javascript实现快速排序(Quicksort)的算法详解
2015/09/06 Javascript
JavaScript操作HTML元素和样式的方法详解
2015/10/21 Javascript
基于JQuery打造无缝滚动新闻步骤详解
2016/03/31 Javascript
利用css+原生js制作简单的钟表
2020/04/07 Javascript
整理一些最近经常遇到的前端面试题
2017/04/25 Javascript
JavaScript选取(picking)和反选(rejecting)对象的属性方法
2017/08/16 Javascript
vue.js实现标签页切换效果
2018/06/07 Javascript
Vue $emit $refs子父组件间方法的调用实例
2018/09/12 Javascript
jquery实现购物车基本功能
2019/10/25 jQuery
Vue项目中Api的组织和返回数据处理的操作
2019/11/04 Javascript
python实现的用于搜索文件并进行内容替换的类实例
2015/06/28 Python
Windows下使Python2.x版本的解释器与3.x共存的方法
2015/10/25 Python
使用python对excle和json互相转换的示例
2018/10/23 Python
python django框架中使用FastDFS分布式文件系统的安装方法
2019/06/10 Python
深入了解Python枚举类型的相关知识
2019/07/09 Python
详解pandas绘制矩阵散点图(scatter_matrix)的方法
2020/04/23 Python
html5构建触屏网站之网站尺寸探讨
2013/01/07 HTML / CSS
基于HTML5+CSS3实现简单的时钟效果
2017/09/11 HTML / CSS
英国复古皮包品牌:Beara Beara
2018/07/18 全球购物
Charles&Keith美国官方网站:新加坡快时尚鞋类和配饰零售商
2019/11/27 全球购物
制药工程专业毕业生推荐信
2013/12/24 职场文书
转党组织关系介绍信
2014/01/08 职场文书
咖啡厅商业计划书
2014/09/15 职场文书
党的群众路线教育实践活动对照检查材料
2014/09/22 职场文书
公安机关纪律作风整顿剖析
2014/10/10 职场文书
2015年七一建党节活动总结
2015/03/20 职场文书
2015年库房工作总结
2015/04/30 职场文书
催款函怎么写
2015/06/24 职场文书
军训结束新闻稿
2015/07/17 职场文书
PHP实现考试倒计时功能代码
2021/04/16 PHP
FP-growth算法发现频繁项集——构建FP树
2021/06/24 Python