深入学习python的yield和generator


Posted in Python onMarch 10, 2016

前言
没有用过的东西,没有深刻理解的东西很难说自己会,而且被别人一问必然破绽百出。虽然之前有接触过python协程的概念,但是只是走马观花,这两天的一次交谈中,别人问到了协程,顿时语塞,死活想不起来曾经看过的东西,之后突然想到了yield,但为时已晚,只能说概念不清,所以本篇先缕缕python的生成器和yield关键字。

什么是生成器
1、生成器是一个特殊的程序,可以被用作控制循环的迭代行为
2、生成器类似于返回值为数组的一个函数,这个函数可以接收参数,可以被调用,但是,不同于一般的函数会一次性返回包含了所有数值的数组,生成器一次只产生一个值,这样消耗的内粗数量大大减少,而且允许调用函数可以很快的开始处理前几个返回值。因此,生成器看起来像一个函数但是表现的却像一个迭代器。
python中的生成器
python提供了两种基本的方式。

1)、生成器函数:也是用def来定义,利用关键字yield一次返回一个结果,阻塞,重新开始
2)、生成器表达式:返回一个对象,这个对象只有在需要的时候才产生结果
下面详细讲解。

1、生成器函数
为什么叫生成器函数?因为他随着时间的推移生成了一个数值队列。一般的函数在执行完毕之后会返回一个值然后退出,但是生成器函数会自动挂起,然后重新拾起继续执行,他会利用yield关键字关起函数,给调用者返回一个值,同时保留了当前的足够多的状态,可以使函数继续执行。生成器和迭代协议是密切相关的,可迭代的对象都有一个__next()__成员方法,这个方法要么返回迭代的下一项,要么引起异常结束迭代。
为了支持迭代协议,拥有yield语句的函数被编译为生成器,这类函数被调用时返回一个生成器对象,返回的对象支持迭代接口,即成员方法__next()__继续从中断处执行执行。
看下面的例子:

# codes
def create_counter(n):
 print "create counter"
 while True:
  yield n
  print 'increment n'
  n += 1

cnt = create_counter(2)
print cnt
print next(cnt)
print next(cnt)

# output
<generator object create_counter at 0x0000000001D141B0>
create counter
2
increment n
3

分析一下这个例子:

  • 在create_counter函数中出现了关键字yield,预示着这个函数每次只产生一个结果值,这个函数返回一个生成器(通过第一行输出可以看出来),用来产生连续的n值
  • 在创造生成器实例的时候,只需要像普通函数一样调用就可以,但是这个调用却不会执行这个函数,这个可以通过输出看出来
  • next()函数将生成器对象作为自己的参数,在第一次调用的时候,他执行了create_counter()函数到yield语句,返回产生的值2
  • 我们重复的调用next()函数,每次他都会从上次被挂起的地方开始执行,直到再次遇到了yield关键字

为了更加深刻的理解,我们再举一个例子。

#coding
def cube(n):
 for i in range(n):
  yield i ** 3

for i in cube(5):
 print i

#output
0
1
8
27
64

所以从理解函数的角度出发我们可以将yield类比为return,但是功能确实完全不同,在for循环中,会自动遵循迭代规则,每次调用next()函数,所以上面的结果不难理解。

2、生成器表达式
生成器表达式来自于迭代和列表解析的组合,关于列表解析的概念和用法可以参见我之前的博客,生成器表达式和列表解析类似,但是他使用尖括号而不是方括号括起来的。如下代码:

>>> # 列表解析生成列表
>>> [ x ** 3 for x in range(5)]
[0, 1, 8, 27, 64]
>>> 
>>> # 生成器表达式
>>> (x ** 3 for x in range(5))
<generator object <genexpr> at 0x000000000315F678>
>>> # 两者之间转换
>>> list(x ** 3 for x in range(5))
[0, 1, 8, 27, 64]

就操作而言,生成器表如果使用大量的next()函数会显得十分不方便,for循环会自动出发next函数,所以可以按下面方式使用:

>>> for n in (x ** 3 for x in range(5)):
 print('%s, %s' % (n, n * n))

 
0, 0
1, 1
8, 64
27, 729
64, 4096
>>>

两者比较
一个迭代既可以被写成生成器函数,也可以被协程生成器表达式,均支持自动和手动迭代。而且这些生成器只支持一个active迭代,也就是说生成器的迭代器就是生成器本身。

总结
想起了初中时候老师经常说的,眼观千遍,不如手动一遍。

Python 相关文章推荐
python装饰器decorator介绍
Nov 21 Python
python单元测试unittest实例详解
May 11 Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 Python
解决python3在anaconda下安装caffe失败的问题
Jun 15 Python
Python爬虫抓取代理IP并检验可用性的实例
May 07 Python
Python爬虫实现抓取京东店铺信息及下载图片功能示例
Aug 07 Python
Python 判断奇数偶数的方法
Dec 20 Python
Python实现元素等待代码实例
Nov 11 Python
浅析python 动态库m.so.1.0错误问题
May 09 Python
详解python内置模块urllib
Sep 09 Python
flask框架中的cookie和session使用
Jan 31 Python
Python+SeaTable实现计算两个日期间的工作日天数
Jul 07 Python
Python中random模块生成随机数详解
Mar 10 #Python
python生成器表达式和列表解析
Mar 10 #Python
python迭代器与生成器详解
Mar 10 #Python
Python装饰器基础详解
Mar 09 #Python
Python求算数平方根和约数的方法汇总
Mar 09 #Python
Python实现Linux命令xxd -i功能
Mar 06 #Python
基于Python实现一个简单的银行转账操作
Mar 06 #Python
You might like
Sony CFR 320 修复改造
2020/03/14 无线电
PHP 5.3新特性命名空间规则解析及高级功能
2010/03/11 PHP
PHP小教程之实现双向链表
2014/06/12 PHP
php析构函数的简单使用说明
2015/08/24 PHP
php抓取网站图片并保存的实现方法
2015/10/29 PHP
PHP实现上传图片到 zimg 服务器
2016/10/19 PHP
Docker 安装 PHP并与Nginx的部署实例讲解
2021/02/27 PHP
兼容所有浏览器的js复制插件Zero使用介绍
2014/03/19 Javascript
Javascript字符串对象的常用方法简明版
2014/06/26 Javascript
通过js为元素添加多项样式,浏览器全兼容写法
2014/08/30 Javascript
jQuery选择器源码解读(五):tokenize的解析过程
2015/03/31 Javascript
js实现文本框选中的方法
2015/05/26 Javascript
轻松5句话解决JavaScript的作用域
2016/07/15 Javascript
利用JQuery阻止事件冒泡
2016/12/01 Javascript
关于axios返回空对象的问题解决
2017/04/04 Javascript
es6系列教程_ Map详解以及常用api介绍
2017/09/25 Javascript
node.js多个异步过程中判断执行是否完成的解决方案
2017/12/10 Javascript
JS/jQuery实现简单的开关灯效果【案例】
2019/02/19 jQuery
深入了解js原型模式
2019/05/30 Javascript
H5+css3+js搭建带验证码的登录页面
2020/10/11 Javascript
python连接字符串的方法小结
2015/07/13 Python
Python 中 list 的各项操作技巧
2017/04/13 Python
python中(str,list,tuple)基础知识汇总
2018/02/20 Python
TensorFlow实现MLP多层感知机模型
2018/03/09 Python
TensorFlow用expand_dim()来增加维度的方法
2018/07/26 Python
tensorflow 恢复指定层与不同层指定不同学习率的方法
2018/07/26 Python
解决python selenium3启动不了firefox的问题
2018/10/13 Python
Python学习笔记之lambda表达式用法详解
2019/08/08 Python
vscode 配置 python3开发环境的方法
2019/09/19 Python
Python Scrapy图片爬取原理及代码实例
2020/06/12 Python
Pycharm配置lua编译环境过程图解
2020/11/28 Python
移动端解决悬浮层(悬浮header、footer)会遮挡住内容的3种方法
2015/03/27 HTML / CSS
中海讯通笔试题
2015/09/15 面试题
编辑个人求职信范文
2013/09/21 职场文书
幼儿园大班个人总结
2015/02/28 职场文书
主题班会开场白
2015/06/01 职场文书