Python生成器(Generator)详解


Posted in Python onApril 13, 2015

通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。

所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器(Generator)。

简单生成器

要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:

>>> L = [x * x for x in range(10)]

>>> L

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

>>> g = (x * x for x in range(10))

>>> g

<generator object <genexpr> at 0x104feab40>

创建L和g的区别仅在于最外层的[]和(),L是一个list,而g是一个generator。
我们可以直接打印出list的每一个元素,但我们怎么打印出generator的每一个元素呢?

如果要一个一个打印出来,可以通过generator的next()方法:

>>> g.next()

0

>>> g.next()

1

>>> g.next()

4

>>> g.next()

9

>>> g.next()

16

>>> g.next()

25

>>> g.next()

36

>>> g.next()

49

>>> g.next()

64

>>> g.next()

81

>>> g.next()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

我们讲过,generator保存的是算法,每次调用next(),就计算出下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。

当然,上面这种不断调用next()方法实在是太变态了,正确的方法是使用for循环,因为generator也是可迭代对象:

>>> g = (x * x for x in range(10))

>>> for n in g:

...     print n

...

0

1

4

9

16

25

36

49

64

81

所以,我们创建了一个generator后,基本上永远不会调用next()方法,而是通过for循环来迭代它。

带yield 语句的生成器

仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。

也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print b改为yield b就可以了:

def fib(max):

    n, a, b = 0, 0, 1

    while n < max:

        yield b

        a, b = b, a + b

        n = n + 1

这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:
>>> fib(6)

<generator object fib at 0x104feaaa0>

这里,最难理解的就是generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。

举个简单的例子,定义一个generator,依次返回数字1,3,5:

>>> def odd():

...     print 'step 1'

...     yield 1

...     print 'step 2'

...     yield 3

...     print 'step 3'

...     yield 5

...

>>> o = odd()

>>> o.next()

step 1

1

>>> o.next()

step 2

3

>>> o.next()

step 3

5

>>> o.next()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

可以看到,odd不是普通函数,而是generator,在执行过程中,遇到yield就中断,下次又继续执行。执行3次yield后,已经没有yield可以执行了,所以,第4次调用next()就报错。

回到fib的例子,我们在循环过程中不断调用yield,就会不断中断。当然要给循环设置一个条件来退出循环,不然就会产生一个无限数列出来。

同样的,把函数改成generator后,我们基本上从来不会用next()来调用它,而是直接使用for循环来迭代:

>>> for n in fib(6):

...     print n

...

1

1

2

3

5

8

加强的生成器

在 python2.5 中,一些加强特性加入到生成器中,所以除了 next()来获得下个生成的值,用户可以将值回送给生成器[send()],在生成器中抛出异常,以及要求生成器退出[close()]

def gen(x):

    count = x

    while True:

        val = (yield count) 

        if val is not None:

            count = val

        else:

            count += 1
f = gen(5)

print f.next()

print f.next()

print f.next()

print '===================='

print f.send(9)#发送数字9给生成器

print f.next()

print f.next()

输出
5

6

7

====================

9

10

11
Python 相关文章推荐
浅谈Python中range和xrange的区别
Dec 20 Python
python合并同类型excel表格的方法
Apr 01 Python
Python3使用正则表达式爬取内涵段子示例
Apr 22 Python
python 中文件输入输出及os模块对文件系统的操作方法
Aug 27 Python
python使用xlrd和xlwt读写Excel文件的实例代码
Sep 05 Python
在Python中实现shuffle给列表洗牌
Nov 08 Python
Windows下Python3.6安装第三方模块的方法
Nov 22 Python
使用PyQt4 设置TextEdit背景的方法
Jun 14 Python
tensorflow 报错unitialized value的解决方法
Feb 06 Python
详解python环境安装selenium和手动下载安装selenium的方法
Mar 17 Python
Python实现列表中非负数保留,负数转化为指定的数值方式
Jun 04 Python
python 办公自动化——基于pyqt5和openpyxl统计符合要求的名单
May 25 Python
Python中函数的多种格式和使用实例及小技巧
Apr 13 #Python
在Python中使用SimpleParse模块进行解析的教程
Apr 11 #Python
Python的动态重新封装的教程
Apr 11 #Python
简单的Python的curses库使用教程
Apr 11 #Python
详解Python中的文本处理
Apr 11 #Python
状态机的概念和在Python下使用状态机的教程
Apr 11 #Python
在Python下使用Txt2Html实现网页过滤代理的教程
Apr 11 #Python
You might like
修改php.ini不生效问题解决方法(上传大于8M的文件)
2013/06/14 PHP
smarty内置函数{loteral}、{ldelim}和{rdelim}用法实例
2015/01/22 PHP
php字符串比较函数用法小结(strcmp,strcasecmp,strnatcmp及strnatcasecmp)
2016/07/18 PHP
Mac系统完美安装PHP7详细教程
2017/06/06 PHP
PHP数组遍历的几种常见方式总结
2019/02/15 PHP
Javascript倒计时代码
2010/08/12 Javascript
JS调试必备的5个debug技巧
2014/03/07 Javascript
Extjs的FileUploadField文件上传出现了两个上传按钮
2014/04/29 Javascript
JS实现的倒计时效果实例(2则实例)
2015/12/23 Javascript
js 求时间差的实现代码
2016/04/26 Javascript
Jquery EasyUI实现treegrid上显示checkbox并取选定值的方法
2016/04/29 Javascript
JS清除字符串中重复值的实现方法
2016/08/03 Javascript
jQuery实现的小图列表,大图展示效果幻灯片示例
2016/10/25 Javascript
探究JavaScript中的五种事件处理程序方式
2016/12/07 Javascript
Ext JS 实现建议词模糊动态搜索功能
2017/05/13 Javascript
JavaScript中使用参数个数实现重载功能
2017/09/01 Javascript
解决vue接口数据赋值给data没有反应的问题
2018/08/27 Javascript
JQuery事件冒泡和默认行为代码实例
2020/05/13 jQuery
2020京东618叠蛋糕js脚本(亲测好用)
2020/06/02 Javascript
Python爬虫抓取手机APP的传输数据
2016/01/22 Python
Python使用matplotlib绘制正弦和余弦曲线的方法示例
2018/01/06 Python
Django使用HttpResponse返回图片并显示的方法
2018/05/22 Python
pip安装时ReadTimeoutError的解决方法
2018/06/12 Python
python 实现创建文件夹和创建日志文件的方法
2019/07/07 Python
500行代码使用python写个微信小游戏飞机大战游戏
2019/10/16 Python
PyCharm 2020.2 安装详细教程
2020/09/25 Python
python3 kubernetes api的使用示例
2021/01/12 Python
Vans奥地利官方网站:美国原创极限运动潮牌
2018/09/30 全球购物
专升本个人自我评价
2013/12/22 职场文书
文明风采获奖感言
2014/02/18 职场文书
四风批评与自我批评范文
2014/10/14 职场文书
优秀员工事迹材料
2014/12/20 职场文书
施工安全员岗位职责
2015/04/11 职场文书
大学班干部竞选稿
2015/11/20 职场文书
Vue elementUI表单嵌套表格并对每行进行校验详解
2022/02/18 Vue.js
python Tkinter模块使用方法详解
2022/04/07 Python