深入学习python的yield和generator


Posted in Python onMarch 10, 2016

前言
没有用过的东西,没有深刻理解的东西很难说自己会,而且被别人一问必然破绽百出。虽然之前有接触过python协程的概念,但是只是走马观花,这两天的一次交谈中,别人问到了协程,顿时语塞,死活想不起来曾经看过的东西,之后突然想到了yield,但为时已晚,只能说概念不清,所以本篇先缕缕python的生成器和yield关键字。

什么是生成器
1、生成器是一个特殊的程序,可以被用作控制循环的迭代行为
2、生成器类似于返回值为数组的一个函数,这个函数可以接收参数,可以被调用,但是,不同于一般的函数会一次性返回包含了所有数值的数组,生成器一次只产生一个值,这样消耗的内粗数量大大减少,而且允许调用函数可以很快的开始处理前几个返回值。因此,生成器看起来像一个函数但是表现的却像一个迭代器。
python中的生成器
python提供了两种基本的方式。

1)、生成器函数:也是用def来定义,利用关键字yield一次返回一个结果,阻塞,重新开始
2)、生成器表达式:返回一个对象,这个对象只有在需要的时候才产生结果
下面详细讲解。

1、生成器函数
为什么叫生成器函数?因为他随着时间的推移生成了一个数值队列。一般的函数在执行完毕之后会返回一个值然后退出,但是生成器函数会自动挂起,然后重新拾起继续执行,他会利用yield关键字关起函数,给调用者返回一个值,同时保留了当前的足够多的状态,可以使函数继续执行。生成器和迭代协议是密切相关的,可迭代的对象都有一个__next()__成员方法,这个方法要么返回迭代的下一项,要么引起异常结束迭代。
为了支持迭代协议,拥有yield语句的函数被编译为生成器,这类函数被调用时返回一个生成器对象,返回的对象支持迭代接口,即成员方法__next()__继续从中断处执行执行。
看下面的例子:

# codes
def create_counter(n):
 print "create counter"
 while True:
  yield n
  print 'increment n'
  n += 1

cnt = create_counter(2)
print cnt
print next(cnt)
print next(cnt)

# output
<generator object create_counter at 0x0000000001D141B0>
create counter
2
increment n
3

分析一下这个例子:

  • 在create_counter函数中出现了关键字yield,预示着这个函数每次只产生一个结果值,这个函数返回一个生成器(通过第一行输出可以看出来),用来产生连续的n值
  • 在创造生成器实例的时候,只需要像普通函数一样调用就可以,但是这个调用却不会执行这个函数,这个可以通过输出看出来
  • next()函数将生成器对象作为自己的参数,在第一次调用的时候,他执行了create_counter()函数到yield语句,返回产生的值2
  • 我们重复的调用next()函数,每次他都会从上次被挂起的地方开始执行,直到再次遇到了yield关键字

为了更加深刻的理解,我们再举一个例子。

#coding
def cube(n):
 for i in range(n):
  yield i ** 3

for i in cube(5):
 print i

#output
0
1
8
27
64

所以从理解函数的角度出发我们可以将yield类比为return,但是功能确实完全不同,在for循环中,会自动遵循迭代规则,每次调用next()函数,所以上面的结果不难理解。

2、生成器表达式
生成器表达式来自于迭代和列表解析的组合,关于列表解析的概念和用法可以参见我之前的博客,生成器表达式和列表解析类似,但是他使用尖括号而不是方括号括起来的。如下代码:

>>> # 列表解析生成列表
>>> [ x ** 3 for x in range(5)]
[0, 1, 8, 27, 64]
>>> 
>>> # 生成器表达式
>>> (x ** 3 for x in range(5))
<generator object <genexpr> at 0x000000000315F678>
>>> # 两者之间转换
>>> list(x ** 3 for x in range(5))
[0, 1, 8, 27, 64]

就操作而言,生成器表如果使用大量的next()函数会显得十分不方便,for循环会自动出发next函数,所以可以按下面方式使用:

>>> for n in (x ** 3 for x in range(5)):
 print('%s, %s' % (n, n * n))

 
0, 0
1, 1
8, 64
27, 729
64, 4096
>>>

两者比较
一个迭代既可以被写成生成器函数,也可以被协程生成器表达式,均支持自动和手动迭代。而且这些生成器只支持一个active迭代,也就是说生成器的迭代器就是生成器本身。

总结
想起了初中时候老师经常说的,眼观千遍,不如手动一遍。

Python 相关文章推荐
介绍Python的Django框架中的QuerySets
Apr 20 Python
在Python的web框架中配置app的教程
Apr 30 Python
Python实现压缩与解压gzip大文件的方法
Sep 18 Python
Python3实现简单可学习的手写体识别(实例讲解)
Oct 21 Python
Python实现批量压缩图片
Jan 25 Python
python和flask中返回JSON数据的方法
Mar 26 Python
python使用turtle库绘制树
Jun 25 Python
Python开发网站目录扫描器的实现
Feb 21 Python
使用selenium和pyquery爬取京东商品列表过程解析
Aug 15 Python
50行Python代码实现视频中物体颜色识别和跟踪(必须以红色为例)
Nov 20 Python
scrapy-redis分布式爬虫的搭建过程(理论篇)
Sep 29 Python
Python自动化之批量处理工作簿和工作表
Jun 03 Python
Python中random模块生成随机数详解
Mar 10 #Python
python生成器表达式和列表解析
Mar 10 #Python
python迭代器与生成器详解
Mar 10 #Python
Python装饰器基础详解
Mar 09 #Python
Python求算数平方根和约数的方法汇总
Mar 09 #Python
Python实现Linux命令xxd -i功能
Mar 06 #Python
基于Python实现一个简单的银行转账操作
Mar 06 #Python
You might like
php使用curl简单抓取远程url的方法
2015/03/13 PHP
Yii2 GridView实现列表页直接修改数据的方法
2016/05/16 PHP
thinkPHP5框架中widget的功能与用法详解
2018/06/11 PHP
php使用fputcsv实现大数据的导出操作详解
2020/02/27 PHP
javascript 模式设计之工厂模式学习心得
2010/04/27 Javascript
jquery 跨域访问问题解决方法(笔记)
2011/06/08 Javascript
jQuery EasyUI API 中文文档 搜索框
2011/09/29 Javascript
jquery 模板的应用示例
2013/11/12 Javascript
JS完整获取IE浏览器信息包括类型、版本、语言等等
2014/05/22 Javascript
Nodejs异步回调的优雅处理方法
2014/09/25 NodeJs
28个常用JavaScript方法集锦
2015/01/14 Javascript
jquery实现在光标位置插入内容的方法
2015/02/05 Javascript
JS实现自动切换文字的导航效果代码
2015/08/27 Javascript
浅谈javascript的Touch事件
2015/09/27 Javascript
深入学习jQuery Validate表单验证
2016/01/18 Javascript
Bootstrap学习笔记之css组件(3)
2016/06/07 Javascript
Node.js包管理器Yarn的入门介绍与安装
2016/10/17 Javascript
JavaScript实现瀑布流图片效果
2017/06/30 Javascript
jQuery实现购物车的总价计算和总价传值功能
2018/11/28 jQuery
vue 内联样式style中的background用法说明
2020/08/05 Javascript
jQuery实现动态操作table行
2020/11/23 jQuery
Vite和Vue CLI的优劣
2021/01/30 Vue.js
python基础之入门必看操作
2017/07/26 Python
简单介绍python封装的基本知识
2019/08/10 Python
python实现按键精灵找色点击功能教程,使用pywin32和Pillow库
2020/06/04 Python
泰坦健身器材:Titan Fitness
2018/02/13 全球购物
JYSK加拿大:购买家具、床垫、家居装饰等
2020/02/14 全球购物
DBA的职责都有哪些
2012/05/16 面试题
P/Invoke是什么
2015/07/31 面试题
党员干部承诺书
2014/03/25 职场文书
中专毕业生的自荐书
2014/07/01 职场文书
单位一把手群众路线四风问题整改措施
2014/09/25 职场文书
2016大学军训心得体会
2016/01/11 职场文书
《蓝鲸的眼睛》读后感5篇
2020/01/15 职场文书
Vue CLI中模式与环境变量的深入详解
2021/05/30 Vue.js
解析Redis Cluster原理
2021/06/21 Redis