Python yield 使用浅析


Posted in Python onMay 28, 2015

初学 Python 的开发者经常会发现很多 Python 函数中用到了 yield 关键字,然而,带有 yield 的函数执行流程却和普通函数不一样,yield 到底用来做什么,为什么要设计 yield ?本文将由浅入深地讲解 yield 的概念和用法,帮助读者体会 Python 里 yield 简单而强大的功能。

您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?
我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。
如何生成斐波那契?盗?/strong>
斐波那契(Fibonacci)?盗惺且桓龇浅<虻サ牡莨槭?校??谝桓龊偷诙?鍪?猓?我庖桓鍪?伎捎汕傲礁鍪?嗉拥玫健S眉扑慊?绦蚴涑鲮巢?瞧?盗械那 N 个数是一个非常简单的问题,许多初学者都可以轻易写出如下函数:
清单 1. 简单输出斐波那契?盗星 N 个数

 def fab(max): 

    n, a, b = 0, 0, 1 

    while n < max: 

        print b 

        a, b = b, a + b 

        n = n + 1

执行 fab(5),我们可以得到如下输出:
 >>> fab(5) 

 1 

 1 

 2 

 3 

 5

结果没有问题,但有经验的开发者会指出,直接在 fab 函数中用 print 打印数字会导致该函数可复用性较差,因为 fab 函数返回 None,其他函数无法获得该函数生成的数列。
要提高 fab 函数的可复用性,最好不要直接打印出数列,而是返回一个 List。以下是 fab 函数改写后的第二个版本:
清单 2. 输出斐波那契?盗星 N 个数第二版
 def fab(max): 

    n, a, b = 0, 0, 1 

    L = [] 

    while n < max: 

        L.append(b) 

        a, b = b, a + b 

        n = n + 1 

    return L

可以使用如下方式打印出 fab 函数返回的 List:
 >>> for n in fab(5): 

 ...     print n 

 ... 

 1 

 1 

 2 

 3 

 5

改写后的 fab 函数通过返回 List 能满足复用性的要求,但是更有经验的开发者会指出,该函数在运行中占用的内存会随着参数 max 的增大而增大,如果要控制内存占用,最好不要用 List
来保存中间结果,而是通过 iterable 对象来迭代。例如,在 Python2.x 中,代码:

清单 3. 通过 iterable 对象来迭代

 for i in range(1000): pass

会导致生成一个 1000 个元素的 List,而代码:
 for i in xrange(1000): pass

则不会生成一个 1000 个元素的 List,而是在每次迭代中返回下一个数值,内存空间占用很小。因为 xrange 不返回 List,而是返回一个 iterable 对象。
利用 iterable 我们可以把 fab 函数改写为一个支持 iterable 的 class,以下是第三个版本的 Fab:
清单 4. 第三个版本
 class Fab(object):
    def __init__(self, max): 

        self.max = max 

        self.n, self.a, self.b = 0, 0, 1
    def __iter__(self): 

        return self
    def next(self): 

        if self.n < self.max: 

            r = self.b 

            self.a, self.b = self.b, self.a + self.b 

            self.n = self.n + 1 

            return r 

        raise StopIteration()

Fab 类通过 next() 不断返回数列的下一个数,内存占用始终为常数:
 >>> for n in Fab(5): 

 ...     print n 

 ... 

 1 

 1 

 2 

 3 

 5

然而,使用 class 改写的这个版本,代码远远没有第一版的 fab 函数来得简洁。如果我们想要保持第一版 fab 函数的简洁性,同时又要获得 iterable 的效果,yield 就派上用场了:

清单 5. 使用 yield 的第四版

 def fab(max): 

    n, a, b = 0, 0, 1 

    while n < max: 

        yield b 

        # print b 

        a, b = b, a + b 

        n = n + 1
'''

第四个版本的 fab 和第一版相比,仅仅把 print b 改为了 yield b,就在保持简洁性的同时获得了 iterable 的效果。
调用第四版的 fab 和第二版的 fab 完全一致:
 >>> for n in fab(5): 

 ...     print n 

 ... 

 1 

 1 

 2 

 3 

 5

简单地讲,yield 的作用就是把一个函数变成一个 generator,带有 yield 的函数不再是一个普通函数,Python 解释器会将其视为一个 generator,调用 fab(5) 不会执行 fab 函数,而是返回一个 iterable 对象!在 for 循环执行时,每次循环都会执行 fab 函数内部的代码,执行到 yield b 时,fab 函数就返回一个迭代值,下次迭代时,代码从 yield b 的下一条语句继续执行,而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。
也可以手动调用 fab(5) 的 next() 方法(因为 fab(5) 是一个 generator 对象,该对象具有 next() 方法),这样我们就可以更清楚地看到 fab 的执行流程:

清单 6. 执行流程

 >>> f = fab(5) 

 >>> f.next() 

 1 

 >>> f.next() 

 1 

 >>> f.next() 

 2 

 >>> f.next() 

 3 

 >>> f.next() 

 5 

 >>> f.next() 

 Traceback (most recent call last): 

  File "<stdin>", line 1, in <module> 

 StopIteration

 

当函数执行结束时,generator 自动抛出 StopIteration 异常,表示迭代完成。在 for 循环里,无需处理 StopIteration 异常,循环会正常结束。

我们可以得出以下结论:

一个带有 yield 的函数就是一个 generator,它和普通函数不同,生成一个 generator 看起来像函数调用,但不会执行任何函数代码,直到对其调用 next()(在 for 循环中会自动调用 next())才开始执行。虽然执行流程仍按函数的流程执行,但每执行到一个 yield 语句就会中断,并返回一个迭代值,下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次,每次中断都会通过 yield 返回当前的迭代值。

yield 的好处是显而易见的,把一个函数改写为一个 generator 就获得了迭代能力,比起用类的实例保存状态来计算下一个 next() 的值,不仅代码简洁,而且执行流程异常清晰。

如何判断一个函数是否是一个特殊的 generator 函数?可以利用 isgeneratorfunction 判断:

清单 7. 使用 isgeneratorfunction 判断

 >>> from inspect import isgeneratorfunction 

 >>> isgeneratorfunction(fab) 

 True

要注意区分 fab 和 fab(5),fab 是一个 generator function,而 fab(5) 是调用 fab 返回的一个 generator,好比类的定义和类的实例的区别:

清单 8. 类的定义和类的实例

 >>> import types 

 >>> isinstance(fab, types.GeneratorType) 

 False 

 >>> isinstance(fab(5), types.GeneratorType) 

 True

 

fab 是无法迭代的,而 fab(5) 是可迭代的:
 >>> from collections import Iterable 

 >>> isinstance(fab, Iterable) 

 False 

 >>> isinstance(fab(5), Iterable) 

 True

每次调用 fab 函数都会生成一个新的 generator 实例,各实例互不影响:

 >>> f1 = fab(3) 

 >>> f2 = fab(5) 

 >>> print 'f1:', f1.next() 

 f1: 1 

 >>> print 'f2:', f2.next() 

 f2: 1 

 >>> print 'f1:', f1.next() 

 f1: 1 

 >>> print 'f2:', f2.next() 

 f2: 1 

 >>> print 'f1:', f1.next() 

 f1: 2 

 >>> print 'f2:', f2.next() 

 f2: 2 

 >>> print 'f2:', f2.next() 

 f2: 3 

 >>> print 'f2:', f2.next() 

 f2: 5

 

return 的作用

在一个 generator function 中,如果没有 return,则默认执行至函数完毕,如果在执行过程中 return,则直接抛出 StopIteration 终止迭代。

另一个例子

另一个 yield 的例子来源于文件读取。如果直接对文件对象调用 read() 方法,会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield,我们不再需要编写读文件的迭代类,就可以轻松实现文件读取:
清单 9. 另一个 yield 的例子

 def read_file(fpath): 

    BLOCK_SIZE = 1024 

    with open(fpath, 'rb') as f: 

        while True: 

            block = f.read(BLOCK_SIZE) 

            if block: 

                yield block 

            else: 

                return

以上仅仅简单介绍了 yield 的基本概念和用法,yield 在 Python 3 中还有更强大的用法,我们会在后续文章中讨论。
注:本文的代码均在 Python 2.7 中调试通过
Python 相关文章推荐
Python中的生成器和yield详细介绍
Jan 09 Python
仅用50行Python代码实现一个简单的代理服务器
Apr 08 Python
在GitHub Pages上使用Pelican搭建博客的教程
Apr 25 Python
win10下Python3.6安装、配置以及pip安装包教程
Oct 01 Python
在matplotlib的图中设置中文标签的方法
Dec 13 Python
Python 学习教程之networkx
Apr 15 Python
python实现的分析并统计nginx日志数据功能示例
Dec 21 Python
基于keras 模型、结构、权重保存的实现
Jan 24 Python
python 解压、复制、删除 文件的实例代码
Feb 26 Python
将pymysql获取到的数据类型是tuple转化为pandas方式
May 15 Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 Python
解决python3.x安装numpy成功但import出错的问题
Nov 17 Python
Python中super的用法实例
May 28 #Python
Python中的super用法详解
May 28 #Python
Python读写ini文件的方法
May 28 #Python
Python实现给文件添加内容及得到文件信息的方法
May 28 #Python
Python功能键的读取方法
May 28 #Python
python实现将文本转换成语音的方法
May 28 #Python
Python 26进制计算实现方法
May 28 #Python
You might like
destoon会员注册提示“数据校验失败(2)”解决方法
2014/06/21 PHP
PHP的Yii框架使用中的一些错误解决方法与建议
2015/08/21 PHP
php支持断点续传、分块下载的类
2016/05/02 PHP
解析PHP之提取多维数组指定列的方法
2017/01/03 PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
2017/12/21 PHP
[原创]js与自动伸缩图片 自动缩小图片的多浏览器兼容的方法总结
2007/03/12 Javascript
firefox中用javascript实现鼠标位置的定位
2007/06/17 Javascript
Javascript 函数对象的多重身份
2009/06/28 Javascript
js对数字的格式化使用说明
2011/01/12 Javascript
调试Node.JS的辅助工具(NodeWatcher)
2012/01/04 Javascript
从阶乘函数对比Javascript和C#的异同
2012/05/31 Javascript
使用JavaScript动态设置样式实现代码及演示动画
2013/01/25 Javascript
jquery 获取标签名(tagName)示例代码
2013/07/11 Javascript
javascript中style.left和offsetLeft的用法说明
2014/03/07 Javascript
Javascript的&amp;&amp;和||的另类用法
2014/07/23 Javascript
jquery让指定的元素闪烁显示的方法
2015/03/17 Javascript
关于javascript中限定时间内防止按钮重复点击的思路详解
2016/08/16 Javascript
BootStrap中关于Select下拉框选择触发事件及扩展
2016/11/22 Javascript
JS类的定义与使用方法深入探索
2016/11/26 Javascript
JavaScript表单验证实现代码
2017/05/22 Javascript
Vue进度条progressbar组件功能
2018/04/17 Javascript
Vue和React组件之间的传值方式详解
2019/01/31 Javascript
JavaScript面向对象程序设计中对象的定义和继承详解
2019/07/29 Javascript
微信小程序开发(二):页面跳转并传参操作示例
2020/06/01 Javascript
微信小程序点击生成朋友圈分享图(遇到的坑)
2020/06/17 Javascript
[02:40]DOTA2英雄基础教程 巨牙海民
2013/12/23 DOTA
python如何实现excel数据添加到mongodb
2015/07/30 Python
PyTorch预训练的实现
2019/09/18 Python
Python字符编码转码之GBK,UTF8互转
2020/02/09 Python
Python浮点型(float)运算结果不正确的解决方案
2020/09/22 Python
Python抖音快手代码舞(字符舞)的实现方法
2021/02/07 Python
公安交警中队队长个人对照检查材料思想汇报
2014/10/05 职场文书
2014年优秀党员材料
2014/12/18 职场文书
遗愿清单观后感
2015/06/09 职场文书
2015年教师节新闻稿
2015/07/17 职场文书
母婴行业实体、电商模式全面解析
2019/08/01 职场文书