Python 3中的yield from语法详解


Posted in Python onJanuary 18, 2017

前言

最近在捣鼓Autobahn,它有给出个例子是基于asyncio 的,想着说放到pypy3上跑跑看竟然就……失败了。 pip install asyncio直接报invalid syntax,粗看还以为2to3处理的时 候有问题——这不能怪我,好~多package都是用2写了然后转成3的——结果发 现asyncio本来就只支持3.3+的版本,才又回头看代码,赫然发现一句 yield fromyield我知道,但是yield from是神马?

PEP-380

好吧这个标题是我google出来的,yield from的前世今生都在 这个PEP里面,总之大意是原本的yield语句只能将CPU控制权 还给直接调用者,当你想要将一个generator或者coroutine里带有 yield语句的逻辑重构到另一个generator(原文是subgenerator) 里的时候,会非常麻烦,因为外面的generator要负责为里面的 generator做消息传递;所以某人有个想法是让python把消息传递 封装起来,使其对程序猿透明,于是就有了yield from

PEP-380规定了yield from的语义,或者说嵌套的generator应该 有的行为模式。

假设A函数中有这样一个语句

yield from B()

B()返回的是一个可迭代(iterable)的对象b,那么A()会返回一个 generator——照我们的命名规范,名字叫a——那么:

  1. b迭代产生的每个值都直接传递给a的调用者。
  2. 所有通过send方法发送到a的值都被直接传递给b. 如果发送的 值是None,则调用b的__next__()方法,否则调用b的send 方法。如果对b的方法调用产生StopIteration异常,a会继续 执行yield from后面的语句,而其他异常则会传播到a中,导 致a在执行yield from的时候抛出异常。
  3. 如果有除GeneratorExit以外的异常被throw到a中的话,该异常 会被直接throw到b中。如果b的throw方法抛出StopIteration, a会继续执行;其他异常则会导致a也抛出异常。
  4. 如果一个GeneratorExit异常被throw到a中,或者a的close 方法被调用了,并且b也有close方法的话,b的close方法也 会被调用。如果b的这个方法抛出了异常,则会导致a也抛出异常。 反之,如果b成功close掉了,a也会抛出异常,但是是特定的  GeneratorExit异常。
  5. a中yield from表达式的求值结果是b迭代结束时抛出的  StopIteration异常的第一个参数。
  6. b中的return <expr>语句实际上会抛出StopIteration(<expr>) 异常,所以b中return的值会成为a中yield from表达式的返回值。

为神马会有这么多要求?因为generator这种东西的行为在加入throw 方法之后变得非常复杂,特别是几个generator在一起的情况,需要 类似进程管理的元语对其进行操作。上面的所有要求都是为了统一 generator原本就复杂的行为,自然简单不下来啦。

我承认我一下没看明白PEP的作者到底想说什么,于是动手“重构” 一遍大概会有点帮助。

一个没用的例子

说没用是因为你大概不会真的想把程序写成这样,但是……反正能说明 问题就够了。

设想有这样一个generator函数:

def inner():
 coef = 1
 total = 0
 while True:
 try:
  input_val = yield total
  total = total + coef * input_val
 except SwitchSign:
  coef = -(coef)
 except BreakOut:
  return total

这个函数生成的generator将从send方法接收到的值累加到局部 变量total中,并且在收到BreakOut异常时停止迭代;至于另外 一个SwitchSign异常应该不难理解,这里就不剧透了。

从代码上看,由inner()函数得到的generator通过send接收用于 运算的数据,同时通过throw方法接受外部代码的控制以执行不同 的代码分支,目前为止都很清晰。

接下来因为需求有变动,我们需要在inner()这段代码的前后分别加 入初始化和清理现场的代码。鉴于我认为“没坏的代码就不要动”,我 决定让inner()维持现状,然后再写一个outer() ,把添加的代码放在 outer()里,并提供与inner()一样的操作接口。由于inner()利用了 generator的若干特性,所以outer()也必须做到这五件事情:

  1. outer()必须生成一个generator;
  2. 在每一步的迭代中,outer()要帮助inner()返回迭代值;
  3. 在每一步的迭代中,outer()要帮助inner()接收外部发送的数据;
  4. 在每一步的迭代中,outer()要处理inner()接收和抛出所有异常;
  5. outer()被close的时候,inner()也要被正确地close掉。

根据上面的要求,在只有yield的世界里,outer()可能是长这样的:

def outer1():
 print("Before inner(), I do this.")
 i_gen = inner()
 input_val = None
 ret_val = i_gen.send(input_val)
 while True:
 try:
  input_val = yield ret_val
  ret_val = i_gen.send(input_val)
 except StopIteration:
  break
 except Exception as err:
  try:
  ret_val = i_gen.throw(err)
  except StopIteration:
  break
 print("After inner(), I do that.")

WTF,这段代码比inner()本身还要长,而且还没处理close操作。

现在我们来试试外星科技:

def outer2():
 print("Before inner(), I do this.")
 yield from inner()
 print("After inner(), I do that.")

除了完全符合上面的要求外,这四行代码打印出来的时候还能省点纸。

我们可以在outer1()outer2()上分别测试 数据 以及 异常 的传递,不难发现这两个generator的行为基本上是一致的。既然如此, 外星科技当然在大多数情况下是首选。

对generator和coroutine的疑问

从以前接触到Python下的coroutine就觉得它怪怪的,我能看清它们的 行为模式,但是并不明白为什么要使用这种模式,generator和 coroutine具有一样的对外接口,是generator造就了coroutine呢,还 是coroutine造就了generator?最让我百思不得其解的是,Python下 的coroutine将“消息传递”和“调度”这两种操作绑在一个yield 上——即便有了yield from,这个状况还是没变过——我看不出这样做 的必要性。如果一开始就从语法层面将这两种语义分开,并且为 generator和coroutine分别设计一套接口,coroutine的概念大概也会 容易理解一些。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python ORM框架SQLAlchemy学习笔记之关系映射实例
Jun 10 Python
Python实现的使用telnet登陆聊天室实例
Jun 17 Python
python中(str,list,tuple)基础知识汇总
Feb 20 Python
python入门:这篇文章带你直接学会python
Sep 14 Python
python判断一个数是否能被另一个整数整除的实例
Dec 12 Python
Python实现简单查找最长子串功能示例
Feb 26 Python
python使用itchat模块给心爱的人每天发天气预报
Nov 25 Python
TensorFLow 变量命名空间实例
Feb 11 Python
python调用API接口实现登陆短信验证
May 10 Python
python为什么会环境变量设置不成功
Jun 23 Python
基于Django集成CAS实现流程详解
Nov 28 Python
python 镜像环境搭建总结
Sep 23 Python
Python中的字符串操作和编码Unicode详解
Jan 18 #Python
关于Python中异常(Exception)的汇总
Jan 18 #Python
python:socket传输大文件示例
Jan 18 #Python
详解使用pymysql在python中对mysql的增删改查操作(综合)
Jan 18 #Python
python实现下载整个ftp目录的方法
Jan 17 #Python
ansible作为python模块库使用的方法实例
Jan 17 #Python
python 基础教程之Map使用方法
Jan 17 #Python
You might like
php利用cookie实现访问次数统计代码
2011/05/19 PHP
thinkPHP模板算术运算相关函数用法分析
2016/07/12 PHP
php图像处理函数imagecopyresampled用法详解
2016/12/02 PHP
php常用数组函数实例小结
2016/12/29 PHP
PHP实现笛卡尔积算法的实例讲解
2019/12/22 PHP
解决extjs在firefox中关闭窗口再打开后iframe中js函数访问不到的问题
2008/11/06 Javascript
JS 强制设为首页的代码
2009/01/31 Javascript
Jquery 点击按钮显示和隐藏层的代码
2011/07/25 Javascript
使用js 设置url参数
2013/07/08 Javascript
js验证IP及子网掩码的合法性有效性示例
2014/04/30 Javascript
浅析JavaScript基本类型与引用类型
2014/05/28 Javascript
Javascript基础教程之break和continue语句
2015/01/18 Javascript
JS实现网页标题随机显示名人名言的方法
2015/11/03 Javascript
JS实现图片剪裁并预览效果
2016/08/12 Javascript
深入理解vue.js双向绑定的实现原理
2016/12/05 Javascript
微信小程序 picker-view 组件详解及简单实例
2017/01/10 Javascript
JS变量中有var定义和无var定义的区别以及es6中let命令和const命令
2017/02/19 Javascript
nodejs6下使用koa2框架实例
2017/05/18 NodeJs
JavaScript之promise_动力节点Java学院整理
2017/07/03 Javascript
vue.js学习笔记之v-bind和v-on解析
2018/05/03 Javascript
layer ui插件显示tips时,修改字体颜色的实现方法
2019/09/11 Javascript
python下调用pytesseract识别某网站验证码的实现方法
2016/06/06 Python
Python实现将数据框数据写入mongodb及mysql数据库的方法
2018/04/02 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
2018/04/20 Python
Python使用add_subplot与subplot画子图操作示例
2018/06/01 Python
python3监控CentOS磁盘空间脚本
2018/06/21 Python
python bluetooth蓝牙信息获取蓝牙设备类型的方法
2019/11/29 Python
使用python的pyplot绘制函数实例
2020/02/13 Python
纯HTML+CSS3制作导航菜单(附源码)
2013/04/24 HTML / CSS
瑞典廉价机票预订网站:Seat24
2018/06/19 全球购物
Omio中国:全欧洲低价大巴、火车和航班搜索和比价
2018/08/09 全球购物
荷兰街头时尚之家:Funkie House
2019/03/18 全球购物
CHRONEXT英国:您的首选奢华腕表目的地
2020/03/30 全球购物
ShellScript面试题一则-ShellScript编程
2014/03/05 面试题
机电系毕业生求职信
2014/07/11 职场文书
SpringRetry重试框架的具体使用
2021/07/25 Java/Android