Python中的with语句与上下文管理器学习总结


Posted in Python onJune 28, 2016

0、关于上下文管理器
上下文管理器是可以在with语句中使用,拥有__enter__和__exit__方法的对象。

with manager as var:
  do_something(var)

相当于以下情况的简化:

var = manager.__enter__()
try:
  do_something(var)
finally:
  manager.__exit__()

换言之,PEP 343中定义的上下文管理器协议允许将无聊的try...except...finally结构抽象到一个单独的类中,仅仅留下关注的do_something部分。

__enter__方法首先被调用。它可以返回赋给var的值。as部分是可选的:如果它不出现,enter的返回值简单地被忽略。
with语句下的代码被执行。就像try子句,它们或者成功执行到底,或者break,continue或return,或者可以抛出异常。无论哪种情况,该块结束后,__exit__方法被调用。如果抛出异常,异常信息被传递给__exit__,这将在下一章节讨论。通常情况下,异常可被忽略,就像在finally子句中一样,并且将在__exit__结束后重新抛出。
比如说我们想确认一个文件在完成写操作之后被立即关闭:

>>> class closing(object):
...  def __init__(self, obj):
...   self.obj = obj
...  def __enter__(self):
...   return self.obj
...  def __exit__(self, *args):
...   self.obj.close()
>>> with closing(open('/tmp/file', 'w')) as f:
...  f.write('the contents\n')

这里我们确保了当with块退出时调用了f.close()。因为关闭文件是非常常见的操作,该支持已经出现在file类之中。它有一个__exit__方法调用close,并且本身可作为上下文管理器。

>>> with open('/tmp/file', 'a') as f:
...  f.write('more contents\n')

try...finally常见的用法是释放资源。各种不同的情况实现相似:在__enter__阶段资源被获得,在__exit__阶段释放,如果抛出异常也被传递。正如文件操作,往往这是对象使用后的自然操作,内置支持使之很方便。每一个版本,Python都在更多的地方提供支持。

1、如何使用上下文管理器:

如何打开一个文件,并写入"hello world"

filename="my.txt"
mode="w"
writer=open(filename,mode)
writer.write("hello world")
writer.close()

当发生异常时(如磁盘写满),就没有机会执行第5行。当然,我们可以采用try-finally语句块进行包装:

writer=open(filename,mode)
try:
  writer.write("hello world")
finally:
  writer.close()

当我们进行复杂的操作时,try-finally语句就会变得丑陋,采用with语句重写:

with open(filename,mode) as writer:
  writer.write("hello world")

as指代了从open()函数返回的内容,并把它赋给了新值。with完成了try-finally的任务。

2、自定义上下文管理器

with语句的作用类似于try-finally,提供一种上下文机制。要应用with语句的类,其内部必须提供两个内置函数__enter__和__exit__。前者在主体代码执行前执行,后者在主体代码执行后执行。as后面的变量,是在__enter__函数中返回的。

class echo():
  def output(self):
    print "hello world"
  def __enter__(self):
    print "enter"
    return self #可以返回任何希望返回的东西
  def __exit__(self,exception_type,value,trackback):
    print "exit"
    if exception_type==ValueError:
      return True
    else:
      return Flase
 
>>>with echo as e:
  e.output()

输出:
enter
hello world
exit
完备的__exit__函数如下:
def __exit__(self,exc_type,exc_value,exc_tb)

其中,exc_type:异常类型;exc_value:异常值;exc_tb:异常追踪信息

当__exit__返回True时,异常不传播

3、contextlib模块

contextlib模块的作用是提供更易用的上下文管理器,它是通过Generator实现的。contextlib中的contextmanager作为装饰器来提供一种针对函数级别的上下文管理机制,常用框架如下:

from contextlib import contextmanager
@contextmanager
def make_context():
  print 'enter'
  try:
    yield "ok"
  except RuntimeError,err:
    print 'error',err
  finally:
    print 'exit'
    
>>>with make_context() as value:
  print value

   
输出为:

enter
  ok
  exit

其中,yield写入try-finally中是为了保证异常安全(能处理异常)as后的变量的值是由yield返回。yield前面的语句可看作代码块执行前操作,yield之后的操作可以看作在__exit__函数中的操作。

以线程锁为例:

@contextlib.contextmanager
def loudLock():
  print 'Locking'
  lock.acquire()
  yield
  print 'Releasing'
  lock.release()
 
with loudLock():
  print 'Lock is locked: %s' % lock.locked()
  print 'Doing something that needs locking'
 
#Output:
#Locking
#Lock is locked: True
#Doing something that needs locking
#Releasing

4、contextlib.nested:减少嵌套

对于:

with open(filename,mode) as reader:
  with open(filename1,mode1) as writer:
    writer.write(reader.read())

可以通过contextlib.nested进行简化:

with contextlib.nested(open(filename,mode),open(filename1,mode1)) as (reader,writer):
  writer.write(reader.read())

在python 2.7及以后,被一种新的语法取代:

with open(filename,mode) as reader,open(filename1,mode1) as writer:
  writer.write(reader.read())

5、contextlib.closing()

file类直接支持上下文管理器API,但有些表示打开句柄的对象并不支持,如urllib.urlopen()返回的对象。还有些遗留类,使用close()方法而不支持上下文管理器API。为了确保关闭句柄,需要使用closing()为它创建一个上下文管理器(调用类的close方法)。

import contextlib
class myclass():
  def __init__(self):
    print '__init__'
  def close(self):
    print 'close()'
   
with contextlib.closing(myclass()):
  print 'ok'

   
输出:

__init__
ok
close()
Python 相关文章推荐
在主机商的共享服务器上部署Django站点的方法
Jul 22 Python
python 出现SyntaxError: non-keyword arg after keyword arg错误解决办法
Feb 14 Python
分享一个可以生成各种进制格式IP的小工具实例代码
Jul 28 Python
Python使用matplotlib绘制正弦和余弦曲线的方法示例
Jan 06 Python
基于pandas数据样本行列选取的方法
Apr 20 Python
对Python中gensim库word2vec的使用详解
May 08 Python
python数据处理 根据颜色对图片进行分类的方法
Dec 08 Python
Python函数返回不定数量的值方法
Jan 22 Python
将Python文件打包成.EXE可执行文件的方法
Aug 11 Python
python中类的输出或类的实例输出为这种形式的原因
Aug 12 Python
PyTorch笔记之scatter()函数的使用
Feb 12 Python
详解Python中的文件操作
Jan 14 Python
深入解析Python中的上下文管理器
Jun 28 #Python
详解Python中contextlib上下文管理模块的用法
Jun 28 #Python
实例讲解Python中SocketServer模块处理网络请求的用法
Jun 28 #Python
Python中asyncore异步模块的用法及实现httpclient的实例
Jun 28 #Python
python 字典(dict)按键和值排序
Jun 28 #Python
简单谈谈python的反射机制
Jun 28 #Python
Python实现带百分比的进度条
Jun 28 #Python
You might like
php生成随机数或者字符串的代码
2008/09/05 PHP
mantis安装、配置和使用中的问题小结
2014/07/14 PHP
CI框架学习笔记(二) -入口文件index.php
2014/10/27 PHP
php打印输出棋盘的实现方法
2014/12/23 PHP
PHP连接MSSQL方法汇总
2016/02/05 PHP
php实现连接access数据库并转txt写入的方法
2017/02/08 PHP
PHP中OpenSSL加密问题整理
2017/12/14 PHP
PHP从零开始打造自己的MVC框架之类的自动加载实现方法详解
2019/06/03 PHP
laravel5表单唯一验证的实例代码
2019/09/30 PHP
jquery select选中的一个小问题
2009/10/11 Javascript
对js关键字命名的疑问介绍
2014/04/25 Javascript
PHP使用方法重载实现动态创建属性的get和set方法
2014/11/17 Javascript
浅谈angularJS 作用域
2015/07/05 Javascript
B/S(Web)实时通讯解决方案分享
2017/04/06 Javascript
vue.js 微信支付前端代码分享
2018/02/10 Javascript
微信小程序实现文件、图片上传功能
2020/08/18 Javascript
在 Vue 应用中使用 Netlify 表单功能的方法详解
2019/06/03 Javascript
详解如何在Javascript和Sass之间共享变量
2019/11/13 Javascript
继承行为在 ES5 与 ES6 中的区别详解
2019/12/24 Javascript
Vue 同步异步存值取值实现案例
2020/08/05 Javascript
[01:36]DOTA2完美大师赛趣味视频之与队友相处的十万个技巧
2017/11/19 DOTA
python实现百度关键词排名查询
2014/03/30 Python
使用IPython来操作Docker容器的入门指引
2015/04/08 Python
在Python下进行UDP网络编程的教程
2015/04/29 Python
python实现求特征选择的信息增益
2018/12/18 Python
使用Pytorch来拟合函数方式
2020/01/14 Python
Python tkinter界面实现历史天气查询的示例代码
2020/08/23 Python
Python Selenium自动化获取页面信息的方法
2020/08/31 Python
python调用有道智云API实现文件批量翻译
2020/10/10 Python
基于Python爬取搜狐证券股票过程解析
2020/11/18 Python
高中英语演讲稿范文
2014/04/24 职场文书
金融系应届毕业生求职信
2014/05/26 职场文书
兴趣班停课通知
2015/04/24 职场文书
保护环境的宣传语
2015/07/13 职场文书
安全教育日主题班会
2015/08/13 职场文书
Golang Gob编码(gob包的使用详解)
2021/05/07 Golang