深入讲解Python中的迭代器和生成器


Posted in Python onOctober 26, 2015

在Python中,很多对象都是可以通过for语句来直接遍历的,例如list、string、dict等等,这些对象都可以被称为可迭代对象。至于说哪些对象是可以被迭代访问的,就要了解一下迭代器相关的知识了。

迭代器

迭代器对象要求支持迭代器协议的对象,在Python中,支持迭代器协议就是实现对象的__iter__()和next()方法。其中__iter__()方法返回迭代器对象本身;next()方法返回容器的下一个元素,在结尾时引发StopIteration异常。

__iter__()和next()方法

这两个方法是迭代器最基本的方法,一个用来获得迭代器对象,一个用来获取容器中的下一个元素。

对于可迭代对象,可以使用内建函数iter()来获取它的迭代器对象:

深入讲解Python中的迭代器和生成器

例子中,通过iter()方法获得了list的迭代器对象,然后就可以通过next()方法来访问list中的元素了。当容器中没有可访问的元素后,next()方法将会抛出一个StopIteration异常终止迭代器。

其实,当我们使用for语句的时候,for语句就会自动的通过__iter__()方法来获得迭代器对象,并且通过next()方法来获取下一个元素。

自定义迭代器

了解了迭代器协议之后,就可以自定义迭代器了。

下面例子中实现了一个MyRange的类型,这个类型中实现了__iter__()方法,通过这个方法返回对象本身作为迭代器对象;同时,实现了next()方法用来获取容器中的下一个元素,当没有可访问元素后,就抛出StopIteration异常。

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n
 
 def __iter__(self):
  return self
 
 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

这个自定义类型跟内建函数xrange很类似,看一下运行结果:

myRange = MyRange(3)
for i in myRange:
 print i

深入讲解Python中的迭代器和生成器

迭代器和可迭代对象

在上面的例子中,myRange这个对象就是一个可迭代对象,同时它本身也是一个迭代器对象。

看下面的代码,对于一个可迭代对象,如果它本身又是一个迭代器对象,就会有下面的 问题,就没有办法支持多次迭代。

深入讲解Python中的迭代器和生成器

为了解决上面的问题,可以分别定义可迭代类型对象和迭代器类型对象;然后可迭代类型对象的__iter__()方法可以获得一个迭代器类型的对象。看下面的实现:

class Zrange:
 def __init__(self, n):
  self.n = n

 def __iter__(self):
  return ZrangeIterator(self.n)

class ZrangeIterator:
 def __init__(self, n):
  self.i = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.i < self.n:
   i = self.i
   self.i += 1
   return i
  else:
   raise StopIteration() 

zrange = Zrange(3)
print zrange is iter(zrange)   

print [i for i in zrange]
print [i for i in zrange]

代码的运行结果为:

深入讲解Python中的迭代器和生成器

其实,通过下面代码可以看出,list类型也是按照上面的方式,list本身是一个可迭代对象,通过iter()方法可以获得list的迭代器对象:

深入讲解Python中的迭代器和生成器

生成器

在Python中,使用生成器可以很方便的支持迭代器协议。生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果,在每个结果之间挂起和继续它们的状态,来自动实现迭代协议。

也就是说,yield是一个语法糖,内部实现支持了迭代器协议,同时yield内部是一个状态机,维护着挂起和继续的状态。

下面看看生成器的使用:

深入讲解Python中的迭代器和生成器

在这个例子中,定义了一个生成器函数,函数返回一个生成器对象,然后就可以通过for语句进行迭代访问了。

其实,生成器函数返回生成器的迭代器。 “生成器的迭代器”这个术语通常被称作”生成器”。要注意的是生成器就是一类特殊的迭代器。作为一个迭代器,生成器必须要定义一些方法,其中一个就是next()。如同迭代器一样,我们可以使用next()函数来获取下一个值。

生成器执行流程

下面就仔细看看生成器是怎么工作的。

从上面的例子也可以看到,生成器函数跟普通的函数是有很大差别的。

结合上面的例子我们加入一些打印信息,进一步看看生成器的执行流程:

深入讲解Python中的迭代器和生成器

通过结果可以看到:

当调用生成器函数的时候,函数只是返回了一个生成器对象,并没有 执行。
当next()方法第一次被调用的时候,生成器函数才开始执行,执行到yield语句处停止
next()方法的返回值就是yield语句处的参数(yielded value)
当继续调用next()方法的时候,函数将接着上一次停止的yield语句处继续执行,并到下一个yield处停止;如果后面没有yield就抛出StopIteration异常。
生成器表达式

在开始介绍生成器表达式之前,先看看我们比较熟悉的列表解析( List comprehensions),列表解析一般都是下面的形式。

[expr for iter_var in iterable if cond_expr]

迭代iterable里所有内容,每一次迭代后,把iterable里满足cond_expr条件的内容放到iter_var中,再在表达式expr中应该iter_var的内容,最后用表达式的计算值生成一个列表。

例如,生成一个list来保护50以内的所以奇数:

[i for i in range(50) if i%2]

生成器表达式是在python2.4中引入的,当序列过长, 而每次只需要获取一个元素时,应当考虑使用生成器表达式而不是列表解析。生成器表达式的语法和列表解析一样,只不过生成器表达式是被()括起来的,而不是[],如下:

(expr for iter_var in iterable if cond_expr)

看一个例子:

深入讲解Python中的迭代器和生成器

生成器表达式并不是创建一个列表, 而是返回一个生成器,这个生成器在每次计算出一个条目后,把这个条目”产生”(yield)出来。 生成器表达式使用了”惰性计算”(lazy evaluation),只有在检索时才被赋值(evaluated),所以在列表比较长的情况下使用内存上更有效。

继续看一个例子:

深入讲解Python中的迭代器和生成器

从这个例子中可以看到,生成器表达式产生的生成器,它自身是一个可迭代对象,同时也是迭代器本身。

递归生成器

生成器可以向函数一样进行递归使用的,下面看一个简单的例子,对一个序列进行全排列:

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item

for item in permutations(range(3)):
 print item

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item
 
for item in permutations(range(3)):
 print item

 生成器的send()和close()方法

生成器中还有两个很重要的方法:send()和close()。

send(value):
从前面了解到,next()方法可以恢复生成器状态并继续执行,其实send()是除next()外另一个恢复生成器的方法。

Python 2.5中,yield语句变成了yield表达式,也就是说yield可以有一个值,而这个值就是send()方法的参数,所以send(None)和next()是等效的。同样,next()和send()的返回值都是yield语句处的参数(yielded value)

关于send()方法需要注意的是:调用send传入非None值前,生成器必须处于挂起状态,否则将抛出异常。也就是说,第一次调用时,要使用next()语句或send(None),因为没有yield语句来接收这个值。

close():
这个方法用于关闭生成器,对关闭的生成器后再次调用next或send将抛出StopIteration异常。

下面看看这两个方法的使用:

深入讲解Python中的迭代器和生成器

总结

本文介绍了Python迭代器和生成器的相关内容。

  • 通过实现迭代器协议对应的__iter__()和next()方法,可以自定义迭代器类型。对于可迭代对象,for语句可以通过iter()方法获取迭代器,并且通过next()方法获得容器的下一个元素。
  • 像列表这种序列类型的对象,可迭代对象和迭代器对象是相互独立存在的,在迭代的过程中各个迭代器相互独立;但是,有的可迭代对象本身又是迭代器对象,那么迭代器就没法独立使用。
  • itertools模块提供了一系列迭代器,能够帮助用户轻松地使用排列、组合、笛卡尔积或其他组合结构。
  • 生成器是一种特殊的迭代器,内部支持了生成器协议,不需要明确定义__iter__()和next()方法。
  • 生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果。
Python 相关文章推荐
跟老齐学Python之用while来循环
Oct 02 Python
Python map和reduce函数用法示例
Feb 26 Python
Python实现简单状态框架的方法
Mar 19 Python
使用Python的Flask框架表单插件Flask-WTF实现Web登录验证
Jul 12 Python
利用Python为iOS10生成图标和截屏
Sep 24 Python
浅谈Python NLP入门教程
Dec 25 Python
解决Python3中的中文字符编码的问题
Jul 18 Python
opencv python 基于KNN的手写体识别的实例
Aug 03 Python
Python WEB应用部署的实现方法
Jan 02 Python
python画蝴蝶曲线图的实例
Nov 21 Python
python GUI库图形界面开发之PyQt5开发环境配置与基础使用
Feb 25 Python
Django 权限管理(permissions)与用户组(group)详解
Nov 30 Python
Windows下使Python2.x版本的解释器与3.x共存的方法
Oct 25 #Python
解析Python编程中的包结构
Oct 25 #Python
Python实现获取域名所用服务器的真实IP
Oct 25 #Python
Python制作爬虫采集小说
Oct 25 #Python
Python验证企业工商注册码
Oct 25 #Python
日常整理python执行系统命令的常见方法(全)
Oct 22 #Python
Python六大开源框架对比
Oct 19 #Python
You might like
兼容PHP5的PHP目录管理函数库
2008/07/10 PHP
PHP如何解决网站大流量与高并发的问题
2011/06/25 PHP
php中Redis的应用--消息传递
2017/03/28 PHP
PHP简单实现防止SQL注入的方法
2018/03/13 PHP
javascript 框架小结 个人工作经验
2009/06/13 Javascript
javascript 二分法(数组array)
2010/04/24 Javascript
JavaScript 32位整型无符号操作示例
2013/12/08 Javascript
jquery 删除字符串最后一个字符的方法解析
2014/02/11 Javascript
jquery图片轮播插件仿支付宝2013版全屏图片幻灯片
2014/04/03 Javascript
Node.js中防止错误导致的进程阻塞的方法
2016/08/11 Javascript
浅谈JavaScript 函数参数传递到底是值传递还是引用传递
2016/08/23 Javascript
Angular 理解module和injector,即依赖注入
2016/09/07 Javascript
javascript 判断页面访问方式电脑或者移动端
2016/09/19 Javascript
vue如何从接口请求数据
2017/06/22 Javascript
Vue.js基础指令实例讲解(各种数据绑定、表单渲染大总结)
2017/07/03 Javascript
jQuery实现切换隐藏与显示同时切换图标功能
2017/10/29 jQuery
vue项目中v-model父子组件通信的实现详解
2017/12/10 Javascript
React Native悬浮按钮组件的示例代码
2018/04/05 Javascript
微信小程序input框中加入小图标的实现方法
2018/06/19 Javascript
JS内部事件机制之单线程原理
2018/07/02 Javascript
代码分析vue中如何配置less
2018/09/28 Javascript
vue计算属性get和set用法示例
2019/02/08 Javascript
[03:36]2014DOTA2 TI小组赛综述 八强诞生进军钥匙球馆
2014/07/15 DOTA
Python实现简单的四则运算计算器
2016/11/02 Python
django 2.0更新的10条注意事项总结
2018/01/05 Python
python生成带有表格的图片实例
2019/02/03 Python
python3.8与pyinstaller冲突问题的快速解决方法
2020/01/16 Python
python 异步async库的使用说明
2020/05/04 Python
Web前端页面跳转并取到值
2017/04/24 HTML / CSS
约瑟夫·特纳男装:Joseph Turner
2017/10/10 全球购物
速比涛英国官网:Speedo英国
2019/07/15 全球购物
个人批评与自我批评材料
2014/10/17 职场文书
中学生清明节演讲稿
2015/03/18 职场文书
2015年乡镇财政工作总结
2015/05/19 职场文书
Python中requests做接口测试的方法
2021/05/30 Python
Mysql排序的特性详情
2021/11/01 MySQL