详解Python3中yield生成器的用法


Posted in Python onAugust 20, 2015

任何使用yield的函数都称之为生成器,如:

def count(n): 
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。

c = count(5) 
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5 
c.__next__() 
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n): 
  print ( "cunting" )
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n): 
  print ("cunting" ) 
  while n > 0: 
    print ('before yield') 
    yield n  #生成值:n 
    n -= 1 
    print ('after yield' )

 

上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5): 
  print (i),

实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time  
def tail(f):  
  f.seek(0,2)#移动到文件EOF 
  while True:  
    line = f.readline() #读取文件中新的文本行 
    if not line:  
      time.sleep(0.1)  
      continue  
    yield line  
  
def grep(lines,searchtext):  
  for line in lines:  
    if searchtext in line:  
      yield line 
 
flog = tail(open('warn.log'))  
pylines = grep(flog,'python')  
for line in pylines:  
  print ( line, ) 
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来 
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处 
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了 
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci(): 
  a=b=1 
  yield a 
  yield b 
  while True: 
    a,b = b,a+b 
    yield b

调用:

for num in fibonacci(): 
  if num > 100: 
    break 
  print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path): 
  size = 1024 
  with open(path,'r') as f: 
    while True: 
      block = f.read(SIZE) 
      if block: 
        yield block 
      else: 
        return

 

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return(): 
...   yield 4 
...   return 0 
... 
 File "<stdin>", line 3 
SyntaxError: 'return' with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator(): 
...   print 'start...' 
...   yield 5 
...  
>>> mygenerator()      //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停 
<generator object mygenerator at 0xb762502c> 
>>> mygenerator().next()   //调用next()即可让函数运行. 
start... 
5 
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2(): 
...   print 'first' 
...   yield 5 
...   print 'second' 
...   yield 23 
...   print 'end...' 
...  
>>> g1 = fun2() 
>>> g1.next()       //第一次运行,暂停在yield 5        
first 
5 
>>> g1.next()       //第二次运行,暂停在yield 23 
second 
23 
>>> g1.next()       //第三次运行,由于之后没有yield,再次next()就会抛出错误 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration 
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun(): 
...   print 'start...' 
...   m = yield 5 
...   print m 
...   print 'middle...' 
...   d = yield 12 
...   print d 
...   print 'end...' 
...  
>>> m = fun()       //创建一个对象 
>>> m.next()        //会使函数执行到下一个yield前 
start... 
5 
>>> m.send('message')   //利用send()传递值 
message          //send()传递进来的  
middle... 
12 
>>> m.next() 
None            //可见next()返回值为空 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration
Python 相关文章推荐
Python实现JSON反序列化类对象的示例
Jan 31 Python
python实现决策树、随机森林的简单原理
Mar 26 Python
基于pandas数据样本行列选取的方法
Apr 20 Python
python实现决策树分类(2)
Aug 30 Python
python实现微信小程序自动回复
Sep 10 Python
Python函数中不定长参数的写法
Feb 13 Python
Python 列表去重去除空字符的例子
Jul 20 Python
在Pytorch中使用样本权重(sample_weight)的正确方法
Aug 17 Python
Python实现密码薄文件读写操作
Dec 16 Python
python实现小程序推送页面收录脚本
Apr 20 Python
python小程序之4名牌手洗牌发牌问题解析
May 15 Python
matplotlib设置颜色、标记、线条,让你的图像更加丰富(推荐)
Sep 25 Python
Python中集合的内建函数和内建方法学习教程
Aug 19 #Python
深入解析Python中的集合类型操作符
Aug 19 #Python
Python中的集合类型知识讲解
Aug 19 #Python
深入理解Python中字典的键的使用
Aug 19 #Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 #Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 #Python
Python中字典的基础知识归纳小结
Aug 19 #Python
You might like
php判断类是否存在函数class_exists用法分析
2014/11/14 PHP
yii的入口文件index.php中为什么会有这两句
2016/08/04 PHP
php下载文件超时时间的设置方法
2016/10/06 PHP
PHP新特性详解之命名空间、性状与生成器
2017/07/18 PHP
ThinkPHP框架整合微信支付之Native 扫码支付模式二图文详解
2019/04/09 PHP
非常不错的一个javascript 类
2006/11/07 Javascript
htm调用JS代码
2007/03/15 Javascript
jquery中常用的SET和GET
2009/01/13 Javascript
悄悄用脚本检查你访问过哪些网站的代码
2010/12/04 Javascript
web前端开发也需要日志
2010/12/09 Javascript
jQuery实现可收缩展开的级联菜单实例代码
2013/11/27 Javascript
jquery实现图片按比例缩放示例
2014/07/01 Javascript
javascript制作sql转换为stringBuffer的小工具
2015/04/03 Javascript
jquery实现很酷的网页顶部图标下拉菜单效果
2015/08/22 Javascript
简单谈谈React中的路由系统
2017/07/25 Javascript
js的函数的按值传递参数(实例讲解)
2017/11/16 Javascript
微信小程序获取位置展示地图并标注信息的实例代码
2019/09/01 Javascript
Vue+Node实现商品列表的分页、排序、筛选,添加购物车功能详解
2019/12/07 Javascript
vue 判断页面是首次进入还是再次刷新的实例
2020/11/05 Javascript
Python中模拟enum枚举类型的5种方法分享
2014/11/22 Python
Python使用metaclass实现Singleton模式的方法
2015/05/05 Python
Django 使用logging打印日志的实例
2018/04/28 Python
pyqt5之将textBrowser的内容写入txt文档的方法
2019/06/21 Python
python画图把时间作为横坐标的方法
2019/07/07 Python
8段用于数据清洗Python代码(小结)
2019/10/31 Python
pytorch逐元素比较tensor大小实例
2020/01/03 Python
详解Java中一维、二维数组在内存中的结构
2021/02/11 Python
Html5新标签解释及用法
2012/02/17 HTML / CSS
全球异乡人的跨境社交电商平台:Kouhigh口嗨网
2020/07/24 全球购物
公务员培训自我鉴定
2014/02/01 职场文书
派出所所长先进事迹
2014/05/19 职场文书
2015新员工试用期工作总结
2014/12/12 职场文书
研讨会致辞
2015/07/31 职场文书
九不准学习心得体会
2016/01/23 职场文书
祝福语集锦:送给毕业同学祝福语
2019/11/21 职场文书
Go调用Rust方法及外部函数接口前置
2022/06/14 Golang