详解Python3中yield生成器的用法


Posted in Python onAugust 20, 2015

任何使用yield的函数都称之为生成器,如:

def count(n): 
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。

使用yield,可以让函数生成一个序列,该函数返回的对象类型是"generator",通过该对象连续调用next()方法返回序列值。

c = count(5) 
c.__next__() #python 3.4.3要使用c.__next__()不能使用c.next()
>>> 5 
c.__next__() 
>>>4

生成器函数只有在调用__next()__方法的时候才开始执行函数里面的语句,比如:

def count(n): 
  print ( "cunting" )
  while n > 0: 
    yield n  #生成值:n 
    n -= 1

 

在调用count函数时:c=count(5),并不会打印"counting"只有等到调用c.__next__()时才真正执行里面的语句。每次调用__next__()方法时,count函数会运行到语句yield n处为止,__next__()的返回值就是生成值n,再次调用__next__()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行),如:

def count(n): 
  print ("cunting" ) 
  while n > 0: 
    print ('before yield') 
    yield n  #生成值:n 
    n -= 1 
    print ('after yield' )

 

上述代码在第一次调用__next__方法时,并不会打印"after yield"。如果一直调用__next__方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File "", line 1, in StopIteration
所以一般不会手动的调用__next__方法,而使用for循环:

for i in count(5): 
  print (i),

实例: 用yield生成器模拟Linux中命令:tail -f file | grep python 用于查找监控日志文件中出现有python字样的行。

import time  
def tail(f):  
  f.seek(0,2)#移动到文件EOF 
  while True:  
    line = f.readline() #读取文件中新的文本行 
    if not line:  
      time.sleep(0.1)  
      continue  
    yield line  
  
def grep(lines,searchtext):  
  for line in lines:  
    if searchtext in line:  
      yield line 
 
flog = tail(open('warn.log'))  
pylines = grep(flog,'python')  
for line in pylines:  
  print ( line, ) 
#当此程序运行时,若warn.log文件中末尾有新增一行,且该一行包含python,该行就会被打印出来 
#若打开warn.log时,末尾已经有了一行包含python,该行不会被打印,因为上面是f.seek(0,2)移动到了文件EOF处 
#故,上面程序实现了tail -f warn.log | grep 'python'的功能,动态实时检测warn.log中是否新增现了 
#新的行,且该行包含python

用yield实现斐波那契数列:

def fibonacci(): 
  a=b=1 
  yield a 
  yield b 
  while True: 
    a,b = b,a+b 
    yield b

调用:

for num in fibonacci(): 
  if num > 100: 
    break 
  print (num),

yield中return的作用:
作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,表示结束该语句。
通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

def read_file(path): 
  size = 1024 
  with open(path,'r') as f: 
    while True: 
      block = f.read(SIZE) 
      if block: 
        yield block 
      else: 
        return

 

如果是在函数中return 具体某个值,就直接抛异常了

>>> def test_return(): 
...   yield 4 
...   return 0 
... 
 File "<stdin>", line 3 
SyntaxError: 'return' with argument inside generator

例子

下面来看几段代码示例:

例1:

>>> def mygenerator(): 
...   print 'start...' 
...   yield 5 
...  
>>> mygenerator()      //在此处调用,并没有打印出start...说明存在yield的函数没有被运行,即暂停 
<generator object mygenerator at 0xb762502c> 
>>> mygenerator().next()   //调用next()即可让函数运行. 
start... 
5 
>>>

如一个函数中出现多个yield则next()会停止在下一个yield前,见例2:

例2:

>>> def fun2(): 
...   print 'first' 
...   yield 5 
...   print 'second' 
...   yield 23 
...   print 'end...' 
...  
>>> g1 = fun2() 
>>> g1.next()       //第一次运行,暂停在yield 5        
first 
5 
>>> g1.next()       //第二次运行,暂停在yield 23 
second 
23 
>>> g1.next()       //第三次运行,由于之后没有yield,再次next()就会抛出错误 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration 
>>>

为什么yield 5会输出5,yield 23会输出23?
我们猜测可能是因为yield是表达式,存在返回值.
那么这是否可以认为yield 5的返回值一定是5吗?实际上并不是这样,这个与send函数存在一定的关系,这个函数实质上与next()是相似的,区别是send是传递yield表达式的值进去,而next不能传递特定的值,只能传递None进去,因此可以认为g.next()和g.send(None)是相同的。见例3:

例3:

>>> def fun(): 
...   print 'start...' 
...   m = yield 5 
...   print m 
...   print 'middle...' 
...   d = yield 12 
...   print d 
...   print 'end...' 
...  
>>> m = fun()       //创建一个对象 
>>> m.next()        //会使函数执行到下一个yield前 
start... 
5 
>>> m.send('message')   //利用send()传递值 
message          //send()传递进来的  
middle... 
12 
>>> m.next() 
None            //可见next()返回值为空 
end... 
Traceback (most recent call last): 
 File "<stdin>", line 1, in <module> 
StopIteration
Python 相关文章推荐
python每隔N秒运行指定函数的方法
Mar 16 Python
使用Python编写提取日志中的中文的脚本的方法
Apr 30 Python
Python找出最小的K个数实例代码
Jan 04 Python
DataFrame中去除指定列为空的行方法
Apr 08 Python
Python3.6.0+opencv3.3.0人脸检测示例
May 25 Python
Numpy array数据的增、删、改、查实例
Jun 04 Python
flask框架使用orm连接数据库的方法示例
Jul 16 Python
对Python的zip函数妙用,旋转矩阵详解
Dec 13 Python
Python使用selenium + headless chrome获取网页内容的方法示例
Oct 16 Python
python异常处理和日志处理方式
Dec 24 Python
Opencv实现二维直方图的计算及绘制
Jul 21 Python
Django基础CBV装饰器和中间件
Mar 22 Python
Python中集合的内建函数和内建方法学习教程
Aug 19 #Python
深入解析Python中的集合类型操作符
Aug 19 #Python
Python中的集合类型知识讲解
Aug 19 #Python
深入理解Python中字典的键的使用
Aug 19 #Python
详解Python中映射类型的内建函数和工厂函数
Aug 19 #Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 #Python
Python中字典的基础知识归纳小结
Aug 19 #Python
You might like
如何跨站抓取别的站点的页面的补充
2006/10/09 PHP
PHP 身份证号验证函数
2009/05/07 PHP
PHP 裁剪图片成固定大小代码方法
2009/09/09 PHP
php面向对象全攻略 (十) final static const关键字的使用
2009/09/30 PHP
zf框架的校验器使用使用示例(自定义校验器和校验器链)
2014/03/13 PHP
php 使用GD库为页面增加水印示例代码
2014/03/24 PHP
浅谈php命令行用法
2015/02/04 PHP
JavaScript模板入门介绍
2012/09/26 Javascript
js显示时间 js显示最后修改时间
2013/01/02 Javascript
JS检测图片大小的实例
2013/08/21 Javascript
javascript中2个感叹号的用法实例详解
2014/09/04 Javascript
JS实现仿京东淘宝竖排二级导航
2014/12/08 Javascript
jQuery学习笔记之2个小技巧
2015/01/19 Javascript
你所不了解的javascript操作DOM的细节知识点(一)
2015/06/17 Javascript
当jquery ajax遇上401请求的解决方法
2016/05/19 Javascript
JS实现仿PS的调色板效果完整实例
2016/12/21 Javascript
Js利用Canvas实现图片压缩功能
2017/09/13 Javascript
Vue-CLI3.x 设置反向代理的方法
2018/12/06 Javascript
微信小程序新手教程之页面打开数量限制
2019/03/03 Javascript
JS数据类型STRING使用实例解析
2019/12/18 Javascript
Vue将props值实时传递 并可修改的操作
2020/08/09 Javascript
[51:06]2018DOTA2亚洲邀请赛3月29日 小组赛A组 KG VS Liquid
2018/03/30 DOTA
Python对象转JSON字符串的方法
2016/04/27 Python
python读取oracle函数返回值
2016/07/18 Python
numpy中矩阵合并的实例
2018/06/15 Python
Win10系统下安装labelme及json文件批量转化方法
2019/07/30 Python
用pushplus+python监控亚马逊到货动态推送微信
2021/01/29 Python
Html5定位终极解决方案
2020/02/05 HTML / CSS
几道PHP面试题
2013/04/14 面试题
Sony C++笔试题
2013/03/10 面试题
自考毕业生自我鉴定
2013/11/04 职场文书
党的群众路线教育实践活动个人对照检查材料(四风)
2014/11/05 职场文书
工作试用期自我评价
2015/03/10 职场文书
小学教师节活动总结
2015/03/20 职场文书
快消品行业营销模式与盈利模式分享
2019/09/27 职场文书
python的netCDF4批量处理NC格式文件的操作方法
2022/03/21 Python