Python 中的with关键字使用详解


Posted in Python onSeptember 11, 2016

在 Python 2.5 中, with 关键字被加入。它将常用的 try ... except ... finally ... 模式很方便的被复用。看一个最经典的例子:

with open('file.txt') as f:
  content = f.read()

在这段代码中,无论 with 中的代码块在执行的过程中发生任何情况,文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常,那么在这个异常被抛出前,程序会先将被打开的文件关闭。

再看另外一个例子。

在发起一个数据库事务请求的时候,经常会用类似这样的代码:

db.begin()

try:
  # do some actions
except:
  db.rollback()
  raise
finally:
  db.commit()

如果将发起事务请求的操作变成可以支持 with 关键字的,那么用像这样的代码就可以了:

with transaction(db):
  # do some actions

下面,详细的说明一下 with 的执行过程,并用两种常用的方式实现上面的代码。

with 的一般执行过程

一段基本的 with 表达式,其结构是这样的:

with EXPR as VAR:
  BLOCK

其中: EXPR 可以是任意表达式; as VAR 是可选的。其一般的执行过程是这样的:

  1. 计算 EXPR ,并获取一个上下文管理器。
  2. 上下文管理器的 __exit()__ 方法被保存起来用于之后的调用。
  3. 调用上下文管理器的 __enter()__ 方法。
  4. 如果 with 表达式包含 as VAR ,那么 EXPR 的返回值被赋值给 VAR 。
  5. 执行 BLOCK 中的表达式。
  6. 调用上下文管理器的 __exit()__ 方法。如果 BLOCK 的执行过程中发生了一个异常导致程序退出,那么异常的 type 、 value 和 traceback (即 sys.exc_info()的返回值 )将作为参数传递给 __exit()__ 方法。否则,将传递三个 None 。

将这个过程用代码表示,是这样的:

mgr = (EXPR)
exit = type(mgr).__exit__ # 这里没有执行
value = type(mgr).__enter__(mgr)
exc = True

try:
  try:
    VAR = value # 如果有 as VAR
    BLOCK
  except:
    exc = False
    if not exit(mgr, *sys.exc_info()):
      raise
finally:
  if exc:
    exit(mgr, None, None, None)

这个过程有几个细节:

如果上下文管理器中没有 __enter()__ 或者 __exit()__ 中的任意一个方法,那么解释器会抛出一个 AttributeError 。
在 BLOCK 中发生异常后,如果 __exit()__ 方法返回一个可被看成是 True 的值,那么这个异常就不会被抛出,后面的代码会继续执行。

接下来,用两种方法来实现上面来实现上面的过程的吧。

实现上下文管理器类

第一种方法是实现一个类,其含有一个实例属性 db 和上下文管理器所需要的方法 __enter()__ 和 __exit()__ 。

class transaction(object):
  def __init__(self, db):
    self.db = db

  def __enter__(self):
    self.db.begin()

  def __exit__(self, type, value, traceback):
    if type is None:
      db.commit()
    else:
      db.rollback()

了解 with 的执行过程后,这个实现方式是很容易理解的。下面介绍的实现方式,其原理理解起来要复杂很多。

使用生成器装饰器

在Python的标准库中,有一个装饰器可以通过生成器获取上下文管理器。使用生成器装饰器的实现过程如下:

from contextlib import contextmanager

@contextmanager
def transaction(db):
  db.begin()

  try:
    yield db
  except:
    db.rollback()
    raise
  else:
    db.commit()

第一眼上看去,这种实现方式更为简单,但是其机制更为复杂。看一下其执行过程吧:

  1. Python解释器识别到 yield 关键字后, def 会创建一个生成器函数替代常规的函数(在类定义之外我喜欢用函数代替方法)。
  2. 装饰器 contextmanager 被调用并返回一个帮助方法,这个帮助函数在被调用后会生成一个 GeneratorContextManager 实例。最终 with 表达式中的 EXPR 调用的是由 contentmanager 装饰器返回的帮助函数。
  3. with 表达式调用 transaction(db) ,实际上是调用帮助函数。帮助函数调用生成器函数,生成器函数创建一个生成器。
  4. 帮助函数将这个生成器传递给 GeneratorContextManager ,并创建一个 GeneratorContextManager 的实例对象作为上下文管理器。
  5. with 表达式调用实例对象的上下文管理器的 __enter()__ 方法。
  6. __enter()__ 方法中会调用这个生成器的 next() 方法。这时候,生成器方法会执行到 yield db 处停止,并将 db 作为 next() 的返回值。如果有 as VAR ,那么它将会被赋值给 VAR 。
  7. with 中的 BLOCK 被执行。
  8. BLOCK 执行结束后,调用上下文管理器的 __exit()__ 方法。 __exit()__ 方法会再次调用生成器的 next() 方法。如果发生 StopIteration 异常,则 pass 。
  9. 如果没有发生异常生成器方法将会执行 db.commit() ,否则会执行 db.rollback() 。

再次看看上述过程的代码大致实现:

def contextmanager(func):
  def helper(*args, **kwargs):
    return GeneratorContextManager(func(*args, **kwargs))
  return helper

class GeneratorContextManager(object):
  def __init__(self, gen):
    self.gen = gen

  def __enter__(self):
    try:
      return self.gen.next()
    except StopIteration:
      raise RuntimeError("generator didn't yield")

  def __exit__(self, type, value, traceback):
    if type is None:
      try:
        self.gen.next()
      except StopIteration:
        pass
      else:
        raise RuntimeError("generator didn't stop")
    else:
      try:
        self.gen.throw(type, value, traceback)
        raise RuntimeError("generator didn't stop after throw()")
      except StopIteration:
        return True
      except:
        if sys.exc_info()[1] is not value:
          raise

总结

Python的 with 表达式包含了很多Python特性。花点时间吃透 with 是一件非常值得的事情。

一些其他的例子

锁机制

@contextmanager
def locked(lock):
  lock.acquired()
  try:
    yield
  finally:
    lock.release()

标准输出重定向

@contextmanager
def stdout_redirect(new_stdout):
  old_stdout = sys.stdout
  sys.stdout = new_stdout
  try:
    yield
  finally:
    sys.stdout = old_stdout

with open("file.txt", "w") as f:
  with stdout_redirect(f):
    print "hello world"

参考资料

The Python “with” Statement by Example

PEP 343

Python 相关文章推荐
Python获取脚本所在目录的正确方法
Apr 15 Python
Python实现批量读取word中表格信息的方法
Jul 30 Python
Python文件操作之合并文本文件内容示例代码
Sep 19 Python
python实现俄罗斯方块
Jun 26 Python
Python实现模拟浏览器请求及会话保持操作示例
Jul 30 Python
python3 tcp的粘包现象和解决办法解析
Dec 09 Python
Python监控服务器实用工具psutil使用解析
Dec 19 Python
在python中利用try..except来代替if..else的用法
Dec 19 Python
使用Python三角函数公式计算三角形的夹角案例
Apr 15 Python
PyCharm2020.1.1与Python3.7.7的安装教程图文详解
Aug 07 Python
python xlsxwriter模块的使用
Dec 24 Python
Python基础之常用库常用方法整理
Apr 30 Python
Python冒泡排序注意要点实例详解
Sep 09 #Python
通过5个知识点轻松搞定Python的作用域
Sep 09 #Python
python验证码识别的实例详解
Sep 09 #Python
Python随机数random模块使用指南
Sep 09 #Python
利用ctypes提高Python的执行速度
Sep 09 #Python
python实现批量监控网站
Sep 09 #Python
利用python批量检查网站的可用性
Sep 09 #Python
You might like
php对gzip文件或者字符串解压实例参考
2008/07/25 PHP
php图片的二进制转换实现方法
2014/12/15 PHP
php中switch与ifelse的效率区别及适用情况分析
2015/02/12 PHP
得到文本框选中的文字,动态插入文字的js代码
2007/03/07 Javascript
风吟的小型JavaScirpt库 (FY.JS).
2010/03/09 Javascript
jQuery 在光标定位的地方插入文字的插件
2012/05/10 Javascript
JS对象转换为Jquery对象实现代码
2013/12/29 Javascript
利用jquery操作Radio方法小结
2014/10/20 Javascript
vue实现样式之间的切换及vue动态样式的实现方法
2017/12/19 Javascript
JavaScript实现获取select下拉框中第一个值的方法
2018/02/06 Javascript
React事件处理的机制及原理
2018/12/03 Javascript
vue权限问题的完美解决方案
2019/05/08 Javascript
Vue-cli3.x + axios 跨域方案踩坑指北
2019/07/04 Javascript
JAVA面试题 static关键字详解
2019/07/16 Javascript
Vue实现验证码功能
2019/12/03 Javascript
基于js实现逐步显示文字输出代码实例
2020/04/02 Javascript
javascript递归函数定义和用法示例分析
2020/07/22 Javascript
[06:38]DOTA2怒掀电竞风暴 2013Chinajoy
2013/07/27 DOTA
python复制文件代码实现
2013/12/23 Python
python的urllib模块显示下载进度示例
2014/01/17 Python
Python程序员面试题 你必须提前准备!
2018/01/16 Python
Django开发中复选框用法示例
2018/03/20 Python
使用 Python 合并多个格式一致的 Excel 文件(推荐)
2019/12/09 Python
基于python3生成标签云代码解析
2020/02/18 Python
Python使用Socket实现简单聊天程序
2020/02/28 Python
python实现猜数游戏
2020/03/27 Python
使用Jupyter notebooks上传文件夹或大量数据到服务器
2020/04/14 Python
Toppik顶丰增发纤维官网:解决头发稀疏
2017/12/30 全球购物
新秀丽官方旗舰店:Samsonite拉杆箱、双肩包、皮具
2018/03/05 全球购物
幼儿园运动会口号
2014/06/07 职场文书
三八妇女节慰问信
2015/02/14 职场文书
董事长致辞
2015/07/29 职场文书
2016年第二十届“母亲节暨幸福工程救助贫困母亲活动日”活动总结
2016/04/06 职场文书
开学季:喜迎新生,迎新标语少不了
2019/11/07 职场文书
python numpy中setdiff1d的用法说明
2021/04/22 Python
Vite + React从零开始搭建一个开源组件库
2022/06/25 Javascript