Python生成器(Generator)详解


Posted in Python onApril 13, 2015

通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。

所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器(Generator)。

简单生成器

要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:

>>> L = [x * x for x in range(10)]

>>> L

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

>>> g = (x * x for x in range(10))

>>> g

<generator object <genexpr> at 0x104feab40>

创建L和g的区别仅在于最外层的[]和(),L是一个list,而g是一个generator。
我们可以直接打印出list的每一个元素,但我们怎么打印出generator的每一个元素呢?

如果要一个一个打印出来,可以通过generator的next()方法:

>>> g.next()

0

>>> g.next()

1

>>> g.next()

4

>>> g.next()

9

>>> g.next()

16

>>> g.next()

25

>>> g.next()

36

>>> g.next()

49

>>> g.next()

64

>>> g.next()

81

>>> g.next()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

我们讲过,generator保存的是算法,每次调用next(),就计算出下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。

当然,上面这种不断调用next()方法实在是太变态了,正确的方法是使用for循环,因为generator也是可迭代对象:

>>> g = (x * x for x in range(10))

>>> for n in g:

...     print n

...

0

1

4

9

16

25

36

49

64

81

所以,我们创建了一个generator后,基本上永远不会调用next()方法,而是通过for循环来迭代它。

带yield 语句的生成器

仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。

也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print b改为yield b就可以了:

def fib(max):

    n, a, b = 0, 0, 1

    while n < max:

        yield b

        a, b = b, a + b

        n = n + 1

这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:
>>> fib(6)

<generator object fib at 0x104feaaa0>

这里,最难理解的就是generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行。

举个简单的例子,定义一个generator,依次返回数字1,3,5:

>>> def odd():

...     print 'step 1'

...     yield 1

...     print 'step 2'

...     yield 3

...     print 'step 3'

...     yield 5

...

>>> o = odd()

>>> o.next()

step 1

1

>>> o.next()

step 2

3

>>> o.next()

step 3

5

>>> o.next()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

可以看到,odd不是普通函数,而是generator,在执行过程中,遇到yield就中断,下次又继续执行。执行3次yield后,已经没有yield可以执行了,所以,第4次调用next()就报错。

回到fib的例子,我们在循环过程中不断调用yield,就会不断中断。当然要给循环设置一个条件来退出循环,不然就会产生一个无限数列出来。

同样的,把函数改成generator后,我们基本上从来不会用next()来调用它,而是直接使用for循环来迭代:

>>> for n in fib(6):

...     print n

...

1

1

2

3

5

8

加强的生成器

在 python2.5 中,一些加强特性加入到生成器中,所以除了 next()来获得下个生成的值,用户可以将值回送给生成器[send()],在生成器中抛出异常,以及要求生成器退出[close()]

def gen(x):

    count = x

    while True:

        val = (yield count) 

        if val is not None:

            count = val

        else:

            count += 1
f = gen(5)

print f.next()

print f.next()

print f.next()

print '===================='

print f.send(9)#发送数字9给生成器

print f.next()

print f.next()

输出
5

6

7

====================

9

10

11
Python 相关文章推荐
Python使用win32com实现的模拟浏览器功能示例
Jul 13 Python
django文档学习之applications使用详解
Jan 29 Python
Python使用pyautogui模块实现自动化鼠标和键盘操作示例
Sep 04 Python
python assert的用处示例详解
Apr 01 Python
彻底理解Python中的yield关键字
Apr 01 Python
详解Python3 基本数据类型
Apr 19 Python
Python的形参和实参使用方式
Dec 24 Python
浅谈Python程序的错误:变量未定义
Jun 02 Python
Pytorch mask-rcnn 实现细节分享
Jun 24 Python
python中如何写类
Jun 29 Python
详解python中的lambda与sorted函数
Sep 04 Python
pandas数值排序的实现实例
Jul 25 Python
Python中函数的多种格式和使用实例及小技巧
Apr 13 #Python
在Python中使用SimpleParse模块进行解析的教程
Apr 11 #Python
Python的动态重新封装的教程
Apr 11 #Python
简单的Python的curses库使用教程
Apr 11 #Python
详解Python中的文本处理
Apr 11 #Python
状态机的概念和在Python下使用状态机的教程
Apr 11 #Python
在Python下使用Txt2Html实现网页过滤代理的教程
Apr 11 #Python
You might like
PHP 5.0对象模型深度探索之属性和方法
2008/03/27 PHP
php中经典方法实现判断多维数组是否为空
2011/10/23 PHP
深入解析php中的foreach问题
2013/06/30 PHP
PHPAnalysis中文分词类详解
2014/06/13 PHP
php输出xml必须header的解决方法
2014/10/17 PHP
Json_encode防止汉字转义成unicode的方法
2016/02/25 PHP
PHP实现判断数组是一维、二维或几维的方法
2017/02/06 PHP
PHP实现的日历功能示例
2018/09/01 PHP
JS 强制设为首页的代码
2009/01/31 Javascript
麻雀虽小五脏俱全 Dojo自定义控件应用
2010/09/04 Javascript
ASP.NET jQuery 实例18 通过使用jQuery validation插件校验DropDownList
2012/02/03 Javascript
jQuery的cookie插件实现保存用户登陆信息
2014/04/15 Javascript
js电话号码验证方法
2015/09/28 Javascript
JS实现网页右侧带动画效果的伸缩窗口代码
2015/10/29 Javascript
js全选按钮的实现方法
2015/11/17 Javascript
angular和BootStrap3实现购物车功能
2017/01/25 Javascript
详解webpack+gulp实现自动构建部署
2017/06/29 Javascript
React复制到剪贴板的示例代码
2017/08/22 Javascript
本地搭建微信小程序服务器的实现方法
2017/10/27 Javascript
AngularJS 应用模块化的使用
2018/04/04 Javascript
vue element 中的table动态渲染实现(动态表头)
2019/11/21 Javascript
Python字符遍历的艺术
2008/09/06 Python
跟老齐学Python之??碌某?? target=
2014/09/12 Python
使用Python编写提取日志中的中文的脚本的方法
2015/04/30 Python
Python使用matplotlib绘制正弦和余弦曲线的方法示例
2018/01/06 Python
Python Logging 日志记录入门学习
2018/06/02 Python
Python基于SMTP协议实现发送邮件功能详解
2018/08/14 Python
python3 求约数的实例
2019/12/05 Python
Python unittest单元测试框架实现参数化
2020/04/29 Python
Python安装并操作redis实现流程详解
2020/10/13 Python
莫斯科大型旅游休闲商品超市:Camping.ru
2020/09/16 全球购物
【魔兽争霸3重制版】原版画面与淬火MOD画面对比
2021/03/26 魔兽争霸
自愿解除劳动合同协议书
2014/09/11 职场文书
python基于opencv批量生成验证码的示例
2021/04/28 Python
Python 读写 Matlab Mat 格式数据的操作
2021/05/19 Python
Java基于Dijkstra算法实现校园导游程序
2022/03/17 Java/Android