Python中Iterator迭代器的使用杂谈


Posted in Python onJune 20, 2016

迭代器是一种支持next()操作的对象。它包含一组元素,当执行next()操作时,返回其中一个元素;当所有元素都被返回后,生成一个StopIteration异常。

>>>a=[1,2,3]
>>>ia=iter(a)
>>>next(ia)
1
>>>next(ia)
2
>>>next(ia)
3
>>>next(ia)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

ite()可以接受多种Python对象为参数,比如list,tuple, dict, set等,并将其转化为迭代器。迭代器可以用于for语句或in语句中。很多常用操作也是支持迭代器的,比如sum(), max()等。

>>> b=[4,5,6]
>>> ib=iter(b)
>>> for x in ib:
...   print(x)
...
4
5
6
>>> ic=iter(b)
>>> sum(ic)
15
>>> id=iter(b)
>>> max(ic)
6

毋庸置疑,迭代器有很多好处:

1.“流式”数据处理方式减少内存消耗:
比如处理文件,一下猛地把全部数据全部取出来放到内存里面进行处理会导致程序消耗大量内存,有时甚至没法做到,一般我们会一部分一部分的对文件内容进行处理:

for text_line in open("xx.txt"):
 print text_line

2.或者对xml文件进行处理的时候:

tree = etree.iterparse(xml, ['start', 'end'])
for event, elem in tree:
  if event == "end"
    result = etree.tostring(elem)
    elem.clear()
    print result

内置函数open返回的file对象和etree.iterparse序列化的xml tree都是可迭代对象,能够让我们渐进式地对文件的内容进行处理。

3.支持方便用for语句对数据进行消费:
python内置的一些常见的像类型像数组、列表甚至字符串等都是可迭代类型,这样我们就能方便for语句这个语法糖方便对数据进行消费,不需要自己记录索引位置,人肉循环:

for i in [1, 2, 3, 4]
 print i,

简单了解了一下迭代器的好处后,我们正正经经的聊聊python的迭代器模式。
在这里我们引入两个比较绕口的名词:可迭代对象和迭代器对象,个人觉得从这两个概念下手会对迭代器有比较好的理解。在放例子前先对这两个概念给一个不入流的解释:

可迭代对象:对象里面包含__iter()__方法的实现,对象的iter函数经调用之后会返回一个迭代器,里面包含具体数据获取的实现。
迭代器:包含有next方法的实现,在正确范围内返回期待的数据以及超出范围后能够抛出StopIteration的错误停止迭代。
放个例子边看边说:

class iterable_range:
  def __init__(self, n):
    self.n = n

  def __iter__(self):
    return my_range_iterator(self.n)

class my_range_iterator:
  def __init__(self, n):
    self.i = 0
    self.n = n

  def next(self):
    if self.i < self.n:
      i = self.i
      self.i += 1
      print 'iterator get number:', i
      return i
    else:
      raise StopIteration()

例子中的iterable_range是一个可迭代对象,所以我们也能够对它用for语句来进行迭代:

temp = my_range(10)
for item in temp:
  print item,

输出:

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9

大家可以仔细地看一下输出的日志:

  • 数据确实是“流式”处理的
  • iterator是真正在背后做事的人
  • for语句能够非常方便的迭代对象的数据。

可迭代对象其实更像是整个迭代器模式模式的上层,像一种约束一种契约一种规范,它能够保证自己能够返回一个在实际工作中干活的迭代器对象。for、sum等接受一个可迭代对象的方法都是遵循这样的规范:调用对象的__iter__函数,返回迭代器,对迭代器对象返回的每个值进行处理抑或需要一些汇总的操作。拿for举个例子:

iterator_object = iterable_object.__iter__()
while True:
  try:
    value = iterator_object.next()
  except StopIteration:
    # StopIteration exception is raised after last element
    break

  # loop code
  print value

for这个语法糖背后的逻辑差不多就是上面例子中代码所示的那样:首先获取可迭代对象返回的迭代器对象,然后调用迭代器对象的next方法获取每个值,在获取值的过程中随时检测边界-也就是检查是否抛出了StopIteration这样的错误,如果迭代器对象抛出错误则迭代停止(note:从这个例子可以看出,对于那些接受可迭代对象的方法,如果我们传一个单纯的迭代器对象其实也是无法工作的,可能会报出类似于TypeError: iteration over non-sequence的错误)。
当然了,一般在应用过程中我们不会将他们特意的分开,我们能够稍微对迭代器对象进行修改一下,添加__iter__方法的实现,这样对象本身就既是可迭代对象也是一个迭代器对象了:

class my_range_iterator:
   def __init__(self, n):
    self.i = 0
    self.n = n

   def __iter__(self):
    return self

   def next(self):
    if self.i < self.n:
      i = self.i

      self.i += 1
      print 'my iterator get number:', i
      return i
    else:
      raise StopIteration()

 for item in my_range_iterator(10):
   print item

输出:

 

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9
Python 相关文章推荐
wxPython学习之主框架实例
Sep 28 Python
python实现在windows下操作word的方法
Apr 28 Python
VSCode下配置python调试运行环境的方法
Apr 06 Python
python模拟表单提交登录图书馆
Apr 27 Python
Python实现图片拼接的代码
Jul 02 Python
python批量复制图片到另一个文件夹
Sep 17 Python
树莓派实现移动拍照
Jun 22 Python
python写日志文件操作类与应用示例
Jul 01 Python
Python udp网络程序实现发送、接收数据功能示例
Dec 09 Python
python 实现检验33品种数据是否是正态分布
Dec 09 Python
Python 列表推导式需要注意的地方
Oct 23 Python
python selenium 获取接口数据的实现
Dec 07 Python
实例讲解Python编程中@property装饰器的用法
Jun 20 #Python
Python的包管理器pip更换软件源的方法详解
Jun 20 #Python
python3.5使用tkinter制作记事本
Jun 20 #Python
浅谈python抛出异常、自定义异常, 传递异常
Jun 20 #Python
python3 与python2 异常处理的区别与联系
Jun 19 #Python
浅谈Python的异常处理
Jun 19 #Python
qpython3 读取安卓lastpass Cookies
Jun 19 #Python
You might like
PHP iconv 解决utf-8和gb2312编码转换问题
2010/04/12 PHP
PHP限制页面只能在微信自带浏览器访问的代码
2014/01/15 PHP
PHP文件上传小程序 适合初学者学习!
2019/05/23 PHP
浅谈PHP中的那些魔术常量
2020/12/02 PHP
Javascript 篱式条件判断
2008/08/22 Javascript
js中onload与onunload的使用示例
2013/08/25 Javascript
浅析jQuery1.8的几个小变化
2013/12/10 Javascript
javascript实现动态模态绑定grid过程代码
2014/09/22 Javascript
通用javascript代码判断版本号是否在版本范围之间
2015/11/29 Javascript
jQuery javascript获得网页的高度与宽度的实现代码
2016/04/26 Javascript
使用jquery获取url及url参数的简单实例
2016/06/14 Javascript
AngularJS基础 ng-open 指令简单实例
2016/08/02 Javascript
总结Javascript中的隐式类型转换
2016/08/24 Javascript
学习JavaScript图片预加载模块
2016/11/07 Javascript
jQuery Ajax全解析
2017/02/13 Javascript
vue使用ajax获取后台数据进行显示的示例
2018/08/09 Javascript
vue左侧菜单,树形图递归实现代码
2018/08/24 Javascript
详解js中Array的方法及技巧
2018/09/12 Javascript
Vue项目引发的「过滤器」使用教程
2019/03/12 Javascript
微信小程序页面渲染实现方法
2019/11/06 Javascript
Element Alert警告的具体使用方法
2020/07/27 Javascript
[02:11]2016国际邀请赛中国区预选赛最美TA采访现场玩家
2016/06/28 DOTA
[01:20]DOTA2 齐天大圣至宝动态展示
2016/12/13 DOTA
Python计算程序运行时间的方法
2014/12/13 Python
Python的自动化部署模块Fabric的安装及使用指南
2016/01/19 Python
python调用matlab的m自定义函数方法
2019/02/18 Python
手把手教你使用Python创建微信机器人
2019/04/29 Python
详解Django-channels 实现WebSocket实例
2019/08/22 Python
python实现按日期归档文件
2021/01/30 Python
PyCharm+Miniconda3安装配置教程详解
2021/02/16 Python
退伍老兵事迹材料
2014/01/31 职场文书
2014年小班元旦活动方案
2014/02/16 职场文书
毕业晚会主持词
2014/03/24 职场文书
软件项目开发计划书
2014/05/01 职场文书
感恩信:写给爸爸妈妈的一封感谢信
2019/09/12 职场文书
如何用vue实现网页截图你知道吗
2021/11/17 Vue.js