深入讲解Python中的迭代器和生成器


Posted in Python onOctober 26, 2015

在Python中,很多对象都是可以通过for语句来直接遍历的,例如list、string、dict等等,这些对象都可以被称为可迭代对象。至于说哪些对象是可以被迭代访问的,就要了解一下迭代器相关的知识了。

迭代器

迭代器对象要求支持迭代器协议的对象,在Python中,支持迭代器协议就是实现对象的__iter__()和next()方法。其中__iter__()方法返回迭代器对象本身;next()方法返回容器的下一个元素,在结尾时引发StopIteration异常。

__iter__()和next()方法

这两个方法是迭代器最基本的方法,一个用来获得迭代器对象,一个用来获取容器中的下一个元素。

对于可迭代对象,可以使用内建函数iter()来获取它的迭代器对象:

深入讲解Python中的迭代器和生成器

例子中,通过iter()方法获得了list的迭代器对象,然后就可以通过next()方法来访问list中的元素了。当容器中没有可访问的元素后,next()方法将会抛出一个StopIteration异常终止迭代器。

其实,当我们使用for语句的时候,for语句就会自动的通过__iter__()方法来获得迭代器对象,并且通过next()方法来获取下一个元素。

自定义迭代器

了解了迭代器协议之后,就可以自定义迭代器了。

下面例子中实现了一个MyRange的类型,这个类型中实现了__iter__()方法,通过这个方法返回对象本身作为迭代器对象;同时,实现了next()方法用来获取容器中的下一个元素,当没有可访问元素后,就抛出StopIteration异常。

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n
 
 def __iter__(self):
  return self
 
 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

这个自定义类型跟内建函数xrange很类似,看一下运行结果:

myRange = MyRange(3)
for i in myRange:
 print i

深入讲解Python中的迭代器和生成器

迭代器和可迭代对象

在上面的例子中,myRange这个对象就是一个可迭代对象,同时它本身也是一个迭代器对象。

看下面的代码,对于一个可迭代对象,如果它本身又是一个迭代器对象,就会有下面的 问题,就没有办法支持多次迭代。

深入讲解Python中的迭代器和生成器

为了解决上面的问题,可以分别定义可迭代类型对象和迭代器类型对象;然后可迭代类型对象的__iter__()方法可以获得一个迭代器类型的对象。看下面的实现:

class Zrange:
 def __init__(self, n):
  self.n = n

 def __iter__(self):
  return ZrangeIterator(self.n)

class ZrangeIterator:
 def __init__(self, n):
  self.i = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.i < self.n:
   i = self.i
   self.i += 1
   return i
  else:
   raise StopIteration() 

zrange = Zrange(3)
print zrange is iter(zrange)   

print [i for i in zrange]
print [i for i in zrange]

代码的运行结果为:

深入讲解Python中的迭代器和生成器

其实,通过下面代码可以看出,list类型也是按照上面的方式,list本身是一个可迭代对象,通过iter()方法可以获得list的迭代器对象:

深入讲解Python中的迭代器和生成器

生成器

在Python中,使用生成器可以很方便的支持迭代器协议。生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果,在每个结果之间挂起和继续它们的状态,来自动实现迭代协议。

也就是说,yield是一个语法糖,内部实现支持了迭代器协议,同时yield内部是一个状态机,维护着挂起和继续的状态。

下面看看生成器的使用:

深入讲解Python中的迭代器和生成器

在这个例子中,定义了一个生成器函数,函数返回一个生成器对象,然后就可以通过for语句进行迭代访问了。

其实,生成器函数返回生成器的迭代器。 “生成器的迭代器”这个术语通常被称作”生成器”。要注意的是生成器就是一类特殊的迭代器。作为一个迭代器,生成器必须要定义一些方法,其中一个就是next()。如同迭代器一样,我们可以使用next()函数来获取下一个值。

生成器执行流程

下面就仔细看看生成器是怎么工作的。

从上面的例子也可以看到,生成器函数跟普通的函数是有很大差别的。

结合上面的例子我们加入一些打印信息,进一步看看生成器的执行流程:

深入讲解Python中的迭代器和生成器

通过结果可以看到:

当调用生成器函数的时候,函数只是返回了一个生成器对象,并没有 执行。
当next()方法第一次被调用的时候,生成器函数才开始执行,执行到yield语句处停止
next()方法的返回值就是yield语句处的参数(yielded value)
当继续调用next()方法的时候,函数将接着上一次停止的yield语句处继续执行,并到下一个yield处停止;如果后面没有yield就抛出StopIteration异常。
生成器表达式

在开始介绍生成器表达式之前,先看看我们比较熟悉的列表解析( List comprehensions),列表解析一般都是下面的形式。

[expr for iter_var in iterable if cond_expr]

迭代iterable里所有内容,每一次迭代后,把iterable里满足cond_expr条件的内容放到iter_var中,再在表达式expr中应该iter_var的内容,最后用表达式的计算值生成一个列表。

例如,生成一个list来保护50以内的所以奇数:

[i for i in range(50) if i%2]

生成器表达式是在python2.4中引入的,当序列过长, 而每次只需要获取一个元素时,应当考虑使用生成器表达式而不是列表解析。生成器表达式的语法和列表解析一样,只不过生成器表达式是被()括起来的,而不是[],如下:

(expr for iter_var in iterable if cond_expr)

看一个例子:

深入讲解Python中的迭代器和生成器

生成器表达式并不是创建一个列表, 而是返回一个生成器,这个生成器在每次计算出一个条目后,把这个条目”产生”(yield)出来。 生成器表达式使用了”惰性计算”(lazy evaluation),只有在检索时才被赋值(evaluated),所以在列表比较长的情况下使用内存上更有效。

继续看一个例子:

深入讲解Python中的迭代器和生成器

从这个例子中可以看到,生成器表达式产生的生成器,它自身是一个可迭代对象,同时也是迭代器本身。

递归生成器

生成器可以向函数一样进行递归使用的,下面看一个简单的例子,对一个序列进行全排列:

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item

for item in permutations(range(3)):
 print item

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item
 
for item in permutations(range(3)):
 print item

 生成器的send()和close()方法

生成器中还有两个很重要的方法:send()和close()。

send(value):
从前面了解到,next()方法可以恢复生成器状态并继续执行,其实send()是除next()外另一个恢复生成器的方法。

Python 2.5中,yield语句变成了yield表达式,也就是说yield可以有一个值,而这个值就是send()方法的参数,所以send(None)和next()是等效的。同样,next()和send()的返回值都是yield语句处的参数(yielded value)

关于send()方法需要注意的是:调用send传入非None值前,生成器必须处于挂起状态,否则将抛出异常。也就是说,第一次调用时,要使用next()语句或send(None),因为没有yield语句来接收这个值。

close():
这个方法用于关闭生成器,对关闭的生成器后再次调用next或send将抛出StopIteration异常。

下面看看这两个方法的使用:

深入讲解Python中的迭代器和生成器

总结

本文介绍了Python迭代器和生成器的相关内容。

  • 通过实现迭代器协议对应的__iter__()和next()方法,可以自定义迭代器类型。对于可迭代对象,for语句可以通过iter()方法获取迭代器,并且通过next()方法获得容器的下一个元素。
  • 像列表这种序列类型的对象,可迭代对象和迭代器对象是相互独立存在的,在迭代的过程中各个迭代器相互独立;但是,有的可迭代对象本身又是迭代器对象,那么迭代器就没法独立使用。
  • itertools模块提供了一系列迭代器,能够帮助用户轻松地使用排列、组合、笛卡尔积或其他组合结构。
  • 生成器是一种特殊的迭代器,内部支持了生成器协议,不需要明确定义__iter__()和next()方法。
  • 生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果。
Python 相关文章推荐
在Python的Tornado框架中实现简单的在线代理的教程
May 02 Python
python实现应用程序在右键菜单中添加打开方式功能
Jan 09 Python
用python找出那些被“标记”的照片
Apr 20 Python
python ddt实现数据驱动
Mar 14 Python
selenium使用chrome浏览器测试(附chromedriver与chrome的对应关系表)
Nov 29 Python
基于numpy中的expand_dims函数用法
Dec 18 Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 Python
手动安装python3.6的操作过程详解
Jan 13 Python
win10安装tesserocr配置 Python使用tesserocr识别字母数字验证码
Jan 16 Python
Python内置方法和属性应用:反射和单例(推荐)
Jun 19 Python
浅谈Python数学建模之整数规划
Jun 23 Python
Python办公自动化之教你如何用Python将任意文件转为PDF格式
Jun 28 Python
Windows下使Python2.x版本的解释器与3.x共存的方法
Oct 25 #Python
解析Python编程中的包结构
Oct 25 #Python
Python实现获取域名所用服务器的真实IP
Oct 25 #Python
Python制作爬虫采集小说
Oct 25 #Python
Python验证企业工商注册码
Oct 25 #Python
日常整理python执行系统命令的常见方法(全)
Oct 22 #Python
Python六大开源框架对比
Oct 19 #Python
You might like
PHP中feof()函数实例测试
2014/08/23 PHP
php实现事件监听与触发的方法
2014/11/21 PHP
php+MySql实现登录系统与输出浏览者信息功能
2016/07/01 PHP
PHP Socket网络操作类定义与用法示例
2017/08/30 PHP
TP5框架使用QueryList采集框架爬小说操作示例
2020/03/26 PHP
javascript静态的url如何传递
2007/05/03 Javascript
Javascript 网页水印(非图片水印)实现代码
2010/03/01 Javascript
js利用与或运算符优先级实现if else条件判断表达式
2010/04/15 Javascript
JQuery each()函数如何优化循环DOM结构的性能
2012/12/10 Javascript
js获取滚动距离的方法
2015/05/30 Javascript
jQuery代码实现图片墙自动+手动淡入淡出切换效果
2016/05/09 Javascript
浅谈JavaScript的内置对象和浏览器对象
2016/06/03 Javascript
谈谈第三方App接入微信登录 解读
2016/12/27 Javascript
JS中解决谷歌浏览器记住密码输入框颜色改变功能
2017/02/13 Javascript
JS优化与惰性载入函数实例分析
2017/04/06 Javascript
Angular5中状态管理的实现
2018/09/03 Javascript
Vue 框架之动态绑定 css 样式实例分析
2018/11/14 Javascript
从零开始在NPM上发布一个Vue组件的方法步骤
2018/12/20 Javascript
在JavaScript中使用严格模式(Strict Mode)
2019/06/13 Javascript
Python中Random和Math模块学习笔记
2015/05/18 Python
Python随机生成数据后插入到PostgreSQL
2016/07/28 Python
对python中数据集划分函数StratifiedShuffleSplit的使用详解
2018/12/11 Python
使用Python脚本zabbix自定义key监控oracle连接状态
2019/08/28 Python
django框架F&amp;Q 聚合与分组操作示例
2019/12/12 Python
python 普通克里金(Kriging)法的实现
2019/12/19 Python
python实现学生管理系统开发
2020/07/24 Python
详解Python中import机制
2020/09/11 Python
html5唤醒APP小记
2019/03/27 HTML / CSS
前台文员的岗位职责
2013/11/14 职场文书
餐饮业会计岗位职责
2013/12/19 职场文书
如何写求职信
2014/05/24 职场文书
2015感人爱情寄语
2015/02/26 职场文书
酒店人事主管岗位职责
2015/04/11 职场文书
2015年幼儿园中班工作总结
2015/04/25 职场文书
小学班级标语口号大全
2015/12/26 职场文书
2016教师党员学习心得体会
2016/01/21 职场文书