理解python中生成器用法


Posted in Python onDecember 20, 2017

生成器(generator)概念

生成器不会把结果保存在一个系列中,而是保存生成器的状态,在每次进行迭代时返回一个值,直到遇到StopIteration异常结束。

生成器语法

生成器表达式: 通列表解析语法,只不过把列表解析的[]换成()
生成器表达式能做的事情列表解析基本都能处理,只不过在需要处理的序列比较大时,列表解析比较费内存。

>>> gen = (x**2 for x in range(5))
>>> gen
<generator object <genexpr> at 0x0000000002FB7B40>
>>> for g in gen:
...  print(g, end='-')
...
0-1-4-9-16-
>>> for x in [0,1,2,3,4,5]:
...  print(x, end='-')
...
0-1-2-3-4-5-

生成器函数: 在函数中如果出现了yield关键字,那么该函数就不再是普通函数,而是生成器函数。

但是生成器函数可以生产一个无线的序列,这样列表根本没有办法进行处理。

yield 的作用就是把一个函数变成一个 generator,带有 yield 的函数不再是一个普通函数,Python 解释器会将其视为一个 generator。

下面为一个可以无穷生产奇数的生成器函数。

def
odd():
n=1
while
True:
yield
n
n+=2
odd_num
=
odd()
count
=
0
for
o
in
odd_num:
if
count
>=5:
break
print(o)
count
+=1

当然通过手动编写迭代器可以实现类似的效果,只不过生成器更加直观易懂

class Iter:
  def __init__(self):
    self.start=-1
  def __iter__(self):
    return self
  def __next__(self):
    self.start +=2 
    return self.start
I = Iter()
for count in range(5):
  print(next(I))

题外话: 生成器是包含有__iter()和next__()方法的,所以可以直接使用for来迭代,而没有包含StopIteration的自编Iter来只能通过手动循环来迭代

>>>
from
collections
import
Iterable
>>>
from
collections
import
Iterator
>>>
isinstance(odd_num,
Iterable)
True
>>>
isinstance(odd_num,
Iterator)
True
>>>
iter(odd_num)
is
odd_num
True
>>>
help(odd_num)
Help
on
generator
object:
odd
=
class
generator(object)
| Methods
defined
here:
|
| __iter__(self,
/)
|   Implement
iter(self).
|
| __next__(self,
/)
|   Implement
next(self).
......

到上面的结果,现在你可以很有信心的按照Iterator的方式进行循环了吧!

在 for 循环执行时,每次循环都会执行 fab 函数内部的代码,执行到 yield b 时,fab 函数就返回一个迭代值,下次迭代时,代码从 yield b 的下一条语句继续执行,而函数的本地变量看起来和上次中断执行前是完全一样的,于是函数继续执行,直到再次遇到 yield。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次,每次中断都会通过 yield 返回当前的迭代值。

yield 与 return

在一个生成器中,如果没有return,则默认执行到函数完毕时返回StopIteration;

>>> def g1():
...   yield 1
...
>>> g=g1()
>>> next(g)  #第一次调用next(g)时,会在执行完yield语句后挂起,所以此时程序并没有执行结束。
1
>>> next(g)  #程序试图从yield语句的下一条语句开始执行,发现已经到了结尾,所以抛出StopIteration异常。
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration
>>>

如果遇到return,如果在执行过程中 return,则直接抛出 StopIteration 终止迭代。

>>>
def
g2():
...  
yield
'a'
...  
return
...  
yield
'b'
...
>>>
g=g2()
>>>
next(g)  #程序停留在执行完yield
 'a'语句后的位置。
'a'
>>>
next(g)  #程序发现下一条语句是return,所以抛出StopIteration异常,这样yield
 'b'语句永远也不会执行。
Traceback
(most
recent
call
last):
 File
"<stdin>",
line
1,
in
<module>
StopIteration

如果在return后返回一个值,那么这个值为StopIteration异常的说明,不是程序的返回值。

生成器没有办法使用return来返回值。

>>> def g3():
...   yield 'hello'
...   return 'world'
...
>>> g=g3()
>>> next(g)
'hello'
>>> next(g)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration: world

生成器支持的方法

>>>
help(odd_num)
Help
on
generator
object:
odd
=
class
generator(object)
| Methods
defined
here:
......
| close(...)
|   close()
->
raise
GeneratorExit
inside
generator.
|
| send(...)
|   send(arg)
->
send
'arg'
into
generator,
|   return
next
yielded
value
or
raise
StopIteration.
|
| throw(...)
|   throw(typ[,val[,tb]])
->
raise
exception
in
generator,
|   return
next
yielded
value
or
raise
StopIteration.
......

close()

手动关闭生成器函数,后面的调用会直接返回StopIteration异常。

>>> def g4():
...   yield 1
...   yield 2
...   yield 3
...
>>> g=g4()
>>> next(g)
1
>>> g.close()
>>> next(g)  #关闭后,yield 2和yield 3语句将不再起作用
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

send()

生成器函数最大的特点是可以接受外部传入的一个变量,并根据变量内容计算结果后返回。

这是生成器函数最难理解的地方,也是最重要的地方,实现后面我会讲到的协程就全靠它了。

def
gen():
  value=0
  while
True:
    receive=yield
value
    if
receive=='e':
      break
    value
=
'got: %s'
%
receive
g=gen()
print(g.send(None)) 
print(g.send('aaa'))
print(g.send(3))
print(g.send('e'))

执行流程:

通过g.send(None)或者next(g)可以启动生成器函数,并执行到第一个yield语句结束的位置。此时,执行完了yield语句,但是没有给receive赋值。yield value会输出初始值0注意:在启动生成器函数时只能send(None),如果试图输入其它的值都会得到错误提示信息。

通过g.send(‘aaa'),会传入aaa,并赋值给receive,然后计算出value的值,并回到while头部,执行yield value语句有停止。此时yield value会输出”got: aaa”,然后挂起。

通过g.send(3),会重复第2步,最后输出结果为”got: 3″

当我们g.send(‘e')时,程序会执行break然后推出循环,最后整个函数执行完毕,所以会得到StopIteration异常。

最后的执行结果如下:

0
got: aaa
got: 3
Traceback (most recent call last):
File "h.py", line 14, in <module>
 print(g.send('e'))
StopIteration

throw()

用来向生成器函数送入一个异常,可以结束系统定义的异常,或者自定义的异常。

throw()后直接跑出异常并结束程序,或者消耗掉一个yield,或者在没有下一个yield的时候直接进行到程序的结尾。

def
gen():
  while
True:
    try:
      yield
'normal value'
      yield
'normal value 2'
      print('here')
    except
ValueError:
      print('we
 got ValueError here')
    except
TypeError:
      break
g=gen()
print(next(g))
print(g.throw(ValueError))
print(next(g))
print(g.throw(TypeError))

输出结果为:

normal value
we got ValueError here
normal value
normal value 2
Traceback (most recent call last):
 File "h.py", line 15, in <module>
  print(g.throw(TypeError))
StopIteration

解释:

print(next(g)):会输出normal value,并停留在yield ‘normal value 2'之前。

由于执行了g.throw(ValueError),所以会跳过所有后续的try语句,也就是说yield ‘normal value 2'不会被执行,然后进入到except语句,打印出we got ValueError here。然后再次进入到while语句部分,消耗一个yield,所以会输出normal value。

print(next(g)),会执行yield ‘normal value 2'语句,并停留在执行完该语句后的位置。

g.throw(TypeError):会跳出try语句,从而print(‘here')不会被执行,然后执行break语句,跳出while循环,然后到达程序结尾,所以跑出StopIteration异常。

下面给出一个综合例子,用来把一个多维列表展开,或者说扁平化多维列表)

def
flatten(nested):
  try:
    #如果是字符串,那么手动抛出TypeError。
    if
isinstance(nested,
str):
      raise
TypeError
    for
sublist
in
nested:
      #yield
 flatten(sublist)
      for
element
in
flatten(sublist):
        #yield
 element
        print('got:',
element)
  except
TypeError:
    #print('here')
    yield
nested
L=['aaadf',[1,2,3],2,4,[5,[6,[8,[9]],'ddf'],7]]
for
num
in
flatten(L):
  print(num)

如果理解起来有点困难,那么把print语句的注释打开在进行查看就比较明了了。

总结

按照鸭子模型理论,生成器就是一种迭代器,可以使用for进行迭代。

第一次执行next(generator)时,会执行完yield语句后程序进行挂起,所有的参数和状态会进行保存。再一次执行next(generator)时,会从挂起的状态开始往后执行。在遇到程序的结尾或者遇到StopIteration时,循环结束。

可以通过generator.send(arg)来传入参数,这是协程模型。

可以通过generator.throw(exception)来传入一个异常。throw语句会消耗掉一个yield。可以通过generator.close()来手动关闭生成器。

next()等价于send(None)

Python 相关文章推荐
python使用arp欺骗伪造网关的方法
Apr 24 Python
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
Sep 19 Python
python学生信息管理系统(初级版)
Oct 17 Python
python实现贪吃蛇小游戏
Mar 21 Python
Django重置migrations文件的方法步骤
May 01 Python
PyQt5实现让QScrollArea支持鼠标拖动的操作方法
Jun 19 Python
机器学习实战之knn算法pandas
Jun 22 Python
用python打印菱形的实操方法和代码
Jun 25 Python
给Python学习者的文件读写指南(含基础与进阶)
Jan 29 Python
基于python的docx模块处理word和WPS的docx格式文件方式
Feb 13 Python
Django REST framwork的权限验证实例
Apr 02 Python
Python matplotlib安装以及实现简单曲线的绘制
Apr 26 Python
Python利用turtle库绘制彩虹代码示例
Dec 20 #Python
浅谈Python中range和xrange的区别
Dec 20 #Python
python机器学习实战之树回归详解
Dec 20 #Python
使用python 和 lint 删除项目无用资源的方法
Dec 20 #Python
python机器学习实战之K均值聚类
Dec 20 #Python
Python绘制3d螺旋曲线图实例代码
Dec 20 #Python
python机器学习实战之最近邻kNN分类器
Dec 20 #Python
You might like
php使用fgetcsv读取csv文件出现乱码的解决方法
2014/11/08 PHP
学习php设计模式 php实现原型模式(prototype)
2015/12/07 PHP
PHP实现的进度条效果详解
2016/05/03 PHP
PHP实现的Redis多库选择功能单例类
2017/07/27 PHP
PHP基于mcript扩展实现对称加密功能示例
2019/02/21 PHP
PHP pthreads v3使用中的一些坑和注意点分析
2020/02/21 PHP
JSON 和 JavaScript eval使用说明
2010/06/13 Javascript
HTML Color Picker(js拾色器效果)
2013/08/27 Javascript
jQuery点击自身以外地方关闭弹出层的简单实例
2013/12/24 Javascript
JavaScript字符串对象split方法入门实例(用于把字符串分割成数组)
2014/10/16 Javascript
javascript中call和apply的用法示例分析
2015/04/02 Javascript
JavaScript三元运算符的多种使用技巧
2015/04/16 Javascript
javascript:void(0)点击登录没反应怎么解决
2015/11/13 Javascript
基于JavaScript实现根据手机定位获取当前具体位置(X省X市X县X街道X号)
2015/12/29 Javascript
初步使用bootstrap快速创建页面
2016/03/03 Javascript
基于JavaScript实现回到页面顶部动画代码
2016/05/24 Javascript
Vue.js tab实现选项卡切换
2017/05/16 Javascript
vue地址栏直接输入路由无效问题的解决
2018/11/15 Javascript
微信小程序tabBar 返回tabBar不刷新页面
2019/07/25 Javascript
Node.js 中判断一个文件是否存在
2020/08/24 Javascript
Vue+Vant 图片上传加显示的案例
2020/11/03 Javascript
[22:20]初生之犊-TI4第5名LGD战队纪录片
2014/08/13 DOTA
[36:52]DOTA2真视界:基辅特锦赛总决赛
2017/05/21 DOTA
浅析Python中signal包的使用
2015/11/13 Python
详解python进行mp3格式判断
2016/12/23 Python
利用numpy+matplotlib绘图的基本操作教程
2017/05/03 Python
Python利用递归和walk()遍历目录文件的方法示例
2017/07/14 Python
Python装饰器用法实例总结
2018/05/26 Python
关于多元线性回归分析——Python&amp;SPSS
2020/02/24 Python
浅谈Python的方法解析顺序(MRO)
2020/03/05 Python
JAVA及PYTHON质数计算代码对比解析
2020/06/10 Python
激情洋溢的毕业生就业求职信
2014/03/15 职场文书
亲子运动会的活动方案
2014/08/17 职场文书
临床医学生职业规划书范文
2014/10/25 职场文书
教师节寄语2015
2015/03/23 职场文书
我是特种兵观后感
2015/06/11 职场文书