深入讲解Python中的迭代器和生成器


Posted in Python onOctober 26, 2015

在Python中,很多对象都是可以通过for语句来直接遍历的,例如list、string、dict等等,这些对象都可以被称为可迭代对象。至于说哪些对象是可以被迭代访问的,就要了解一下迭代器相关的知识了。

迭代器

迭代器对象要求支持迭代器协议的对象,在Python中,支持迭代器协议就是实现对象的__iter__()和next()方法。其中__iter__()方法返回迭代器对象本身;next()方法返回容器的下一个元素,在结尾时引发StopIteration异常。

__iter__()和next()方法

这两个方法是迭代器最基本的方法,一个用来获得迭代器对象,一个用来获取容器中的下一个元素。

对于可迭代对象,可以使用内建函数iter()来获取它的迭代器对象:

深入讲解Python中的迭代器和生成器

例子中,通过iter()方法获得了list的迭代器对象,然后就可以通过next()方法来访问list中的元素了。当容器中没有可访问的元素后,next()方法将会抛出一个StopIteration异常终止迭代器。

其实,当我们使用for语句的时候,for语句就会自动的通过__iter__()方法来获得迭代器对象,并且通过next()方法来获取下一个元素。

自定义迭代器

了解了迭代器协议之后,就可以自定义迭代器了。

下面例子中实现了一个MyRange的类型,这个类型中实现了__iter__()方法,通过这个方法返回对象本身作为迭代器对象;同时,实现了next()方法用来获取容器中的下一个元素,当没有可访问元素后,就抛出StopIteration异常。

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

class MyRange(object):
 def __init__(self, n):
  self.idx = 0
  self.n = n
 
 def __iter__(self):
  return self
 
 def next(self):
  if self.idx < self.n:
   val = self.idx
   self.idx += 1
   return val
  else:
   raise StopIteration()

这个自定义类型跟内建函数xrange很类似,看一下运行结果:

myRange = MyRange(3)
for i in myRange:
 print i

深入讲解Python中的迭代器和生成器

迭代器和可迭代对象

在上面的例子中,myRange这个对象就是一个可迭代对象,同时它本身也是一个迭代器对象。

看下面的代码,对于一个可迭代对象,如果它本身又是一个迭代器对象,就会有下面的 问题,就没有办法支持多次迭代。

深入讲解Python中的迭代器和生成器

为了解决上面的问题,可以分别定义可迭代类型对象和迭代器类型对象;然后可迭代类型对象的__iter__()方法可以获得一个迭代器类型的对象。看下面的实现:

class Zrange:
 def __init__(self, n):
  self.n = n

 def __iter__(self):
  return ZrangeIterator(self.n)

class ZrangeIterator:
 def __init__(self, n):
  self.i = 0
  self.n = n

 def __iter__(self):
  return self

 def next(self):
  if self.i < self.n:
   i = self.i
   self.i += 1
   return i
  else:
   raise StopIteration() 

zrange = Zrange(3)
print zrange is iter(zrange)   

print [i for i in zrange]
print [i for i in zrange]

代码的运行结果为:

深入讲解Python中的迭代器和生成器

其实,通过下面代码可以看出,list类型也是按照上面的方式,list本身是一个可迭代对象,通过iter()方法可以获得list的迭代器对象:

深入讲解Python中的迭代器和生成器

生成器

在Python中,使用生成器可以很方便的支持迭代器协议。生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果,在每个结果之间挂起和继续它们的状态,来自动实现迭代协议。

也就是说,yield是一个语法糖,内部实现支持了迭代器协议,同时yield内部是一个状态机,维护着挂起和继续的状态。

下面看看生成器的使用:

深入讲解Python中的迭代器和生成器

在这个例子中,定义了一个生成器函数,函数返回一个生成器对象,然后就可以通过for语句进行迭代访问了。

其实,生成器函数返回生成器的迭代器。 “生成器的迭代器”这个术语通常被称作”生成器”。要注意的是生成器就是一类特殊的迭代器。作为一个迭代器,生成器必须要定义一些方法,其中一个就是next()。如同迭代器一样,我们可以使用next()函数来获取下一个值。

生成器执行流程

下面就仔细看看生成器是怎么工作的。

从上面的例子也可以看到,生成器函数跟普通的函数是有很大差别的。

结合上面的例子我们加入一些打印信息,进一步看看生成器的执行流程:

深入讲解Python中的迭代器和生成器

通过结果可以看到:

当调用生成器函数的时候,函数只是返回了一个生成器对象,并没有 执行。
当next()方法第一次被调用的时候,生成器函数才开始执行,执行到yield语句处停止
next()方法的返回值就是yield语句处的参数(yielded value)
当继续调用next()方法的时候,函数将接着上一次停止的yield语句处继续执行,并到下一个yield处停止;如果后面没有yield就抛出StopIteration异常。
生成器表达式

在开始介绍生成器表达式之前,先看看我们比较熟悉的列表解析( List comprehensions),列表解析一般都是下面的形式。

[expr for iter_var in iterable if cond_expr]

迭代iterable里所有内容,每一次迭代后,把iterable里满足cond_expr条件的内容放到iter_var中,再在表达式expr中应该iter_var的内容,最后用表达式的计算值生成一个列表。

例如,生成一个list来保护50以内的所以奇数:

[i for i in range(50) if i%2]

生成器表达式是在python2.4中引入的,当序列过长, 而每次只需要获取一个元素时,应当考虑使用生成器表达式而不是列表解析。生成器表达式的语法和列表解析一样,只不过生成器表达式是被()括起来的,而不是[],如下:

(expr for iter_var in iterable if cond_expr)

看一个例子:

深入讲解Python中的迭代器和生成器

生成器表达式并不是创建一个列表, 而是返回一个生成器,这个生成器在每次计算出一个条目后,把这个条目”产生”(yield)出来。 生成器表达式使用了”惰性计算”(lazy evaluation),只有在检索时才被赋值(evaluated),所以在列表比较长的情况下使用内存上更有效。

继续看一个例子:

深入讲解Python中的迭代器和生成器

从这个例子中可以看到,生成器表达式产生的生成器,它自身是一个可迭代对象,同时也是迭代器本身。

递归生成器

生成器可以向函数一样进行递归使用的,下面看一个简单的例子,对一个序列进行全排列:

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item

for item in permutations(range(3)):
 print item

def permutations(li):
 if len(li) == 0:
  yield li
 else:
  for i in range(len(li)):
   li[0], li[i] = li[i], li[0]
   for item in permutations(li[1:]):
    yield [li[0]] + item
 
for item in permutations(range(3)):
 print item

 生成器的send()和close()方法

生成器中还有两个很重要的方法:send()和close()。

send(value):
从前面了解到,next()方法可以恢复生成器状态并继续执行,其实send()是除next()外另一个恢复生成器的方法。

Python 2.5中,yield语句变成了yield表达式,也就是说yield可以有一个值,而这个值就是send()方法的参数,所以send(None)和next()是等效的。同样,next()和send()的返回值都是yield语句处的参数(yielded value)

关于send()方法需要注意的是:调用send传入非None值前,生成器必须处于挂起状态,否则将抛出异常。也就是说,第一次调用时,要使用next()语句或send(None),因为没有yield语句来接收这个值。

close():
这个方法用于关闭生成器,对关闭的生成器后再次调用next或send将抛出StopIteration异常。

下面看看这两个方法的使用:

深入讲解Python中的迭代器和生成器

总结

本文介绍了Python迭代器和生成器的相关内容。

  • 通过实现迭代器协议对应的__iter__()和next()方法,可以自定义迭代器类型。对于可迭代对象,for语句可以通过iter()方法获取迭代器,并且通过next()方法获得容器的下一个元素。
  • 像列表这种序列类型的对象,可迭代对象和迭代器对象是相互独立存在的,在迭代的过程中各个迭代器相互独立;但是,有的可迭代对象本身又是迭代器对象,那么迭代器就没法独立使用。
  • itertools模块提供了一系列迭代器,能够帮助用户轻松地使用排列、组合、笛卡尔积或其他组合结构。
  • 生成器是一种特殊的迭代器,内部支持了生成器协议,不需要明确定义__iter__()和next()方法。
  • 生成器通过生成器函数产生,生成器函数可以通过常规的def语句来定义,但是不用return返回,而是用yield一次返回一个结果。
Python 相关文章推荐
Python3 正在毁灭 Python的原因分析
Nov 28 Python
Python EOL while scanning string literal问题解决方法
Sep 18 Python
python3.6使用urllib完成下载的实例
Dec 19 Python
Python (Win)readline和tab补全的安装方法
Aug 27 Python
解决tensorflow打印tensor有省略号的问题
Feb 04 Python
tensorflow之自定义神经网络层实例
Feb 07 Python
python3正则模块re的使用方法详解
Feb 11 Python
Python定时器线程池原理详解
Feb 26 Python
Python模拟伯努利试验和二项分布代码实例
May 27 Python
Python使用xlrd实现读取合并单元格
Jul 09 Python
python海龟绘图之画国旗实例代码
Nov 11 Python
Python 居然可以在 Excel 中画画你知道吗
Feb 15 Python
Windows下使Python2.x版本的解释器与3.x共存的方法
Oct 25 #Python
解析Python编程中的包结构
Oct 25 #Python
Python实现获取域名所用服务器的真实IP
Oct 25 #Python
Python制作爬虫采集小说
Oct 25 #Python
Python验证企业工商注册码
Oct 25 #Python
日常整理python执行系统命令的常见方法(全)
Oct 22 #Python
Python六大开源框架对比
Oct 19 #Python
You might like
php生成WAP页面
2006/10/09 PHP
第一节--面向对象编程
2006/11/16 PHP
php URL跳转代码 减少外链
2011/06/25 PHP
php模拟post提交数据的方法
2015/02/12 PHP
Smarty实现页面静态化(生成HTML)的方法
2016/05/23 PHP
php mysql 封装类实例代码
2016/09/18 PHP
简单解决微信文章图片防盗链问题
2016/12/17 PHP
php实现的生成迷宫与迷宫寻址算法完整实例
2017/11/06 PHP
CMSPRESS 10行代码搞定 PHP无限级分类2
2018/03/30 PHP
Laravel项目中timeAgo字段语言转换的改善方法示例
2019/09/16 PHP
php生成HTML文件的类方法
2019/10/11 PHP
javascript 兼容所有浏览器的DOM扩展功能
2012/08/01 Javascript
全面解析Bootstrap表单使用方法(表单控件)
2015/11/24 Javascript
js内置对象处理_打印学生成绩单的简单实现
2016/09/24 Javascript
浅谈js键盘事件全面控制
2016/12/01 Javascript
详解JS中的柯里化(currying)
2017/08/17 Javascript
EasyUI实现下拉框多选功能
2017/11/07 Javascript
vue-cli启动本地服务局域网不能访问的原因分析
2018/01/22 Javascript
如何优雅的在一台vps(云主机)上面部署vue+mongodb+express项目
2019/01/20 Javascript
Django模板继承 extend标签实例代码详解
2019/05/16 Javascript
浅谈VUE中演示v-for为什么要加key
2020/01/16 Javascript
Vue3 的响应式和以前有什么区别,Proxy 无敌?
2020/05/20 Javascript
详解Appium+Python之生成html测试报告
2019/01/04 Python
Python小进度条显示代码
2019/03/05 Python
HTML5实现的震撼3D焦点图动画的示例代码
2019/09/26 HTML / CSS
HTML5页面音视频在微信和app下自动播放的实现方法
2016/10/20 HTML / CSS
意大利专业化妆品品牌:KIKO MILANO
2017/02/01 全球购物
俄罗斯极限运动网上商店:Board Shop №1
2020/12/18 全球购物
电子商务个人职业生涯规划范文
2014/02/12 职场文书
借款协议书
2014/04/12 职场文书
《从现在开始》教学反思
2014/04/15 职场文书
银行纠风工作实施方案
2014/06/08 职场文书
租车协议书
2015/01/27 职场文书
应届生求职自荐信范文
2015/03/04 职场文书
2016年春节问候语
2015/11/11 职场文书
javascript进阶篇深拷贝实现的四种方式
2022/07/07 Javascript