python with提前退出遇到的坑与解决方案


Posted in Python onJanuary 05, 2018

问题的起源

早些时候使用with实现了一版全局进程锁,希望实现以下效果:

with CacheLock("test_lock", 10):
  #如果抢占到锁,那么就执行这段代码
  # 否则,让with提前退出

全局进程锁本身不用多说,大部分都依靠外部的缓存来实现的,redis上用的是setnx,有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力

当时同样写了单元测试来测试这段代码的有效性:

with CacheLock("test_lock", 10):
  value = cache.get("test_lock")
  self.assertEqual(value, 1)
  with CacheLock("test_lock", 10):
    # 不会进到这里
    self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)

看起来非常完美地通过了。

这样的一个全局进程锁是通过 __enter__ 方法抛出异常, __exit__ 方法中捕获异常来实现的:

class CacheLock(object):
  def __init__(self, lock_key, lock_timeout):
    self.lock_key = lock_key
    self.lock_timeout = lock_timeout
    self.success = False
  def __enter__(self):
    self.success = cache.lock(self.lock_key, self.lock_timeout)
    if self.success:
      return self
    else:
      raise LockException("not have lock")
  def __exit__(self, exc_type, exc_value, traceback):
    #没有抢到锁的时候,啥都不做?
    if self.success:
      await cache.delete(self.lock_key)
    if isinstance(exc_value, LockException):
      return True
    if exc_type:
      raise exc_value

看起来还不错,毕竟单元测试都过了。

但是,这样的实现是有问题的:

原因在于 __exit__ 的执行不是包在 __enter__ 之外的,因此 __enter__ 抛出的异常,不会被 __exit__ 捕获。

上面的单元测试恰好通过,是因为其中有两个with语句,外面的with 捕获的其实是里面的 __enter__ 抛出的异常

使用改进后的单元测试:

cache.set("test_lock",1)
with CacheLock("test_lock", 10):
  self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)

就会发现单元测试过不去了。

这个问题是我试图使用with实现另一个逻辑:AB测试 时出现的,同样是 __enter__ 抛出异常, __exit__ 试图捕获:

import operator
class EarlyExit(Exception):
  pass
class ABContext(object):
  """AB测试上下文
  >>> with ABContext(newVersion, consts.ABEnum.layer2):
  >>>   # dosomething
  """
  def __init__(self, version, ab_layer, relationship="eq"):
    self.version = version
    self.ab_layer = ab_layer
    # 如果不存在这种操作符,那就提前报错
    self.relationship = getattr(operator, relationship)
  def __enter__(self):
    # 如果不满足条件,等于不执行上下文中的内容
    if not self.relationship(self.version, self.ab_layer.value):
      raise EarlyExit("not match")
    return self
  def __exit__(self, exc_type, exc_value, traceback):
    if exc_value is None:
      return True
    if isinstance(exc_value, EarlyExit):
      return True
    if exc_type:
      raise exc_value
    return True

调试没有通过的单元测试的时候发现,抛出异常后根本没有执行到 __enter__

第一种解决方案

既然想明白了with的执行顺序,那么第一种解决方案就呼之欲出了:既然__exit__捕获的异常在__enter__执行完成之后,那么我们提供一个函数确认一下就可以了,把ABContext实现改成这样:

def ensure(self):
    if not self.relationship(self.version, self.ab_layer.value):
      raise EarlyExit("not match")
  def __enter__(self):
    # 如果不满足条件,等于不执行上下文中的内容
    return self

使用的时候:

with ABContext(newVersion, consts.ABEnum.layer2) as c:
  c.ensure()
  # 执行其他的想要执行的代码

但这样的解决方法并不优雅,万一使用这个ABContext的时候忘记用ensure方法了,那么就等于完全没用这个Context方法,太容易失误了,而且代码也失去了Pythonic的性质

第二种解决方法

翻了一下contextlib的标准库文档,发现有一个已经废弃的函数: contextlib.nested

from contextlib import nested
with nested(*managers):
  do_something()

可以执行多个上下文.

from contextlib import nested
with nested(A(), B(), C()) as (X, Y, Z):
  do_something()
# is equivalent to this:
m1, m2, m3 = A(), B(), C()
with m1 as X:
  with m2 as Y:
    with m3 as Z:
      do_something()

这个废弃的特性在Python2.7之后,可以直接由with关键字执行,形如:

with context1,context2:
  #do something

这个特性还不错,根据 __enter__ 的执行顺序的话,那么我们可以实现一个由第一个 context的__exit__来捕获,第二个context的__enter__来抛出异常,

如同这样:

class AlwaySuccessContext(object):
  def __enter__(self):
    return self
  def __exit__(self, exc_type, exc_value, traceback):
    if isinstance(exc_value, EarlyExit):
      return True
    if exc_type:
      raise exc_value
    return True

结合前面我们实现的ABContext的使用是这样的:

def test_context_noteq(self):
    obj = MagicMock(return_value=True)
    with AlwaySuccessContext(), ABContext(2, const.ABTestEnum.control):
      self.assertFalse(obj())
    obj.assert_not_called()

good,单元测试就这样过了

能不能再给力点?

确实,在with里要写俩context有点蛋疼,并不是特别优雅,能不能还是回到最初的那种用法:我们只用写一条context,这一个context做到了两个context的事情?

要是nested那个函数还在就好了。。要的其实就是它的功能。

Python3.1之后contextlib提供了一个ExitStack的功能来提供一个模拟的功能,但试了一下发现,实际上只调用了__enter__方法,但没有做对应的异常捕获

第三种解决方案

哈哈哈哈把自己绕到圈子里去了,想了一下,同样是一个缩进的代码块,为什么不能用if来解决呢!不就是个:

def test_context_noteq(self):
    # 不等的时候,不会执行with里的内容
    obj = MagicMock(return_value=True)
    context = ABContext(2, const.ABTestEnum.control)
    # print(type(context))
    if ABContext(2, const.ABTestEnum.control):
      self.assertFalse(obj())
    obj.assert_not_called()

TIL

总之学到了contextlib里的一些有用的函数和装饰器,也第一次发现with可以放个context

虽然放多个context的动态构造还有待研究,with 后面的代码块也不能填一个元组或者列表。。惆怅。。

Python 相关文章推荐
python 算法 排序实现快速排序
Jun 05 Python
零基础写python爬虫之HTTP异常处理
Nov 05 Python
Python3访问并下载网页内容的方法
Jul 28 Python
Django Rest framework之认证的实现代码
Dec 17 Python
pycharm的console输入实现换行的方法
Jan 16 Python
提升Python程序性能的7个习惯
Apr 14 Python
Python range、enumerate和zip函数用法详解
Sep 11 Python
TFRecord格式存储数据与队列读取实例
Jan 21 Python
Python 动态变量名定义与调用方法
Feb 09 Python
selenium WebDriverWait类等待机制的实现
Mar 18 Python
如何使用scrapy中的ItemLoader提取数据
Sep 30 Python
Python descriptor(描述符)的实现
Nov 15 Python
微信跳一跳小游戏python脚本
Jan 05 #Python
Python通过OpenCV的findContours获取轮廓并切割实例
Jan 05 #Python
Python+selenium实现截图图片并保存截取的图片
Jan 05 #Python
微信跳一跳辅助python代码实现
Jan 05 #Python
使用python为mysql实现restful接口
Jan 05 #Python
微信跳一跳python代码实现
Jan 05 #Python
python+opencv轮廓检测代码解析
Jan 05 #Python
You might like
php 购物车完整实现代码
2014/06/05 PHP
PHP的数组中提高元素查找与元素去重的效率的技巧解析
2016/03/03 PHP
在Thinkphp中使用ajax实现无刷新分页的方法
2016/10/25 PHP
jQuery EasyUI API 中文文档 - PropertyGrid属性表格
2011/11/18 Javascript
jQuery ui插件的使用方法代码实例
2013/05/08 Javascript
javascript级联下拉列表实例代码(自写)
2013/05/10 Javascript
文本框只能选择数据到文本框禁止手动输入
2013/11/22 Javascript
jquery判断对象是否为空并遍历对象的简单实例
2016/07/26 Javascript
JS动态给对象添加属性和值的实现方法
2016/10/21 Javascript
微信小程序 参数传递详解
2016/10/24 Javascript
bootstrap使用validate实现简单校验功能
2016/12/02 Javascript
jQuery简单实现遍历单选框的方法
2017/03/06 Javascript
JS二分查找算法详解
2017/11/01 Javascript
Angular实现的自定义模糊查询、排序及三角箭头标注功能示例
2017/12/28 Javascript
加快Vue项目的开发速度的方法
2018/12/12 Javascript
微信小程序上传帖子的实例代码(含有文字图片的微信验证)
2020/07/11 Javascript
python基于BeautifulSoup实现抓取网页指定内容的方法
2015/07/09 Python
Python验证企业工商注册码
2015/10/25 Python
python 换位密码算法的实例详解
2017/07/19 Python
python实现tail实时查看服务器日志示例
2019/12/24 Python
Python如何实现后端自定义认证并实现多条件登陆
2020/06/22 Python
利用Bootstrap实现漂亮简洁的CSS3价格表实例源码
2017/03/02 HTML / CSS
利用CSS3制作简单的3d半透明立方体图片展示
2017/03/25 HTML / CSS
个人思想理论学习的自我鉴定
2013/11/30 职场文书
cf收人广告词
2014/03/14 职场文书
仓库规划计划书
2014/04/28 职场文书
安全生产一岗双责责任书
2014/07/28 职场文书
岗位工作说明书
2014/07/29 职场文书
竞选班干部演讲稿600字
2014/08/20 职场文书
个人查摆剖析材料
2014/10/04 职场文书
公司授权委托书
2014/10/17 职场文书
《梅花魂》教学反思
2016/02/18 职场文书
使用react-virtualized实现图片动态高度长列表的问题
2021/05/28 Javascript
python百行代码实现汉服圈图片爬取
2021/11/23 Python
MySQL示例讲解数据库约束以及表的设计
2022/06/16 MySQL
nginx sticky实现基于cookie负载均衡示例详解
2022/12/24 Servers