Python中Iterator迭代器的使用杂谈


Posted in Python onJune 20, 2016

迭代器是一种支持next()操作的对象。它包含一组元素,当执行next()操作时,返回其中一个元素;当所有元素都被返回后,生成一个StopIteration异常。

>>>a=[1,2,3]
>>>ia=iter(a)
>>>next(ia)
1
>>>next(ia)
2
>>>next(ia)
3
>>>next(ia)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

ite()可以接受多种Python对象为参数,比如list,tuple, dict, set等,并将其转化为迭代器。迭代器可以用于for语句或in语句中。很多常用操作也是支持迭代器的,比如sum(), max()等。

>>> b=[4,5,6]
>>> ib=iter(b)
>>> for x in ib:
...   print(x)
...
4
5
6
>>> ic=iter(b)
>>> sum(ic)
15
>>> id=iter(b)
>>> max(ic)
6

毋庸置疑,迭代器有很多好处:

1.“流式”数据处理方式减少内存消耗:
比如处理文件,一下猛地把全部数据全部取出来放到内存里面进行处理会导致程序消耗大量内存,有时甚至没法做到,一般我们会一部分一部分的对文件内容进行处理:

for text_line in open("xx.txt"):
 print text_line

2.或者对xml文件进行处理的时候:

tree = etree.iterparse(xml, ['start', 'end'])
for event, elem in tree:
  if event == "end"
    result = etree.tostring(elem)
    elem.clear()
    print result

内置函数open返回的file对象和etree.iterparse序列化的xml tree都是可迭代对象,能够让我们渐进式地对文件的内容进行处理。

3.支持方便用for语句对数据进行消费:
python内置的一些常见的像类型像数组、列表甚至字符串等都是可迭代类型,这样我们就能方便for语句这个语法糖方便对数据进行消费,不需要自己记录索引位置,人肉循环:

for i in [1, 2, 3, 4]
 print i,

简单了解了一下迭代器的好处后,我们正正经经的聊聊python的迭代器模式。
在这里我们引入两个比较绕口的名词:可迭代对象和迭代器对象,个人觉得从这两个概念下手会对迭代器有比较好的理解。在放例子前先对这两个概念给一个不入流的解释:

可迭代对象:对象里面包含__iter()__方法的实现,对象的iter函数经调用之后会返回一个迭代器,里面包含具体数据获取的实现。
迭代器:包含有next方法的实现,在正确范围内返回期待的数据以及超出范围后能够抛出StopIteration的错误停止迭代。
放个例子边看边说:

class iterable_range:
  def __init__(self, n):
    self.n = n

  def __iter__(self):
    return my_range_iterator(self.n)

class my_range_iterator:
  def __init__(self, n):
    self.i = 0
    self.n = n

  def next(self):
    if self.i < self.n:
      i = self.i
      self.i += 1
      print 'iterator get number:', i
      return i
    else:
      raise StopIteration()

例子中的iterable_range是一个可迭代对象,所以我们也能够对它用for语句来进行迭代:

temp = my_range(10)
for item in temp:
  print item,

输出:

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9

大家可以仔细地看一下输出的日志:

  • 数据确实是“流式”处理的
  • iterator是真正在背后做事的人
  • for语句能够非常方便的迭代对象的数据。

可迭代对象其实更像是整个迭代器模式模式的上层,像一种约束一种契约一种规范,它能够保证自己能够返回一个在实际工作中干活的迭代器对象。for、sum等接受一个可迭代对象的方法都是遵循这样的规范:调用对象的__iter__函数,返回迭代器,对迭代器对象返回的每个值进行处理抑或需要一些汇总的操作。拿for举个例子:

iterator_object = iterable_object.__iter__()
while True:
  try:
    value = iterator_object.next()
  except StopIteration:
    # StopIteration exception is raised after last element
    break

  # loop code
  print value

for这个语法糖背后的逻辑差不多就是上面例子中代码所示的那样:首先获取可迭代对象返回的迭代器对象,然后调用迭代器对象的next方法获取每个值,在获取值的过程中随时检测边界-也就是检查是否抛出了StopIteration这样的错误,如果迭代器对象抛出错误则迭代停止(note:从这个例子可以看出,对于那些接受可迭代对象的方法,如果我们传一个单纯的迭代器对象其实也是无法工作的,可能会报出类似于TypeError: iteration over non-sequence的错误)。
当然了,一般在应用过程中我们不会将他们特意的分开,我们能够稍微对迭代器对象进行修改一下,添加__iter__方法的实现,这样对象本身就既是可迭代对象也是一个迭代器对象了:

class my_range_iterator:
   def __init__(self, n):
    self.i = 0
    self.n = n

   def __iter__(self):
    return self

   def next(self):
    if self.i < self.n:
      i = self.i

      self.i += 1
      print 'my iterator get number:', i
      return i
    else:
      raise StopIteration()

 for item in my_range_iterator(10):
   print item

输出:

 

my iterator get number: 0
  0
  my iterator get number: 1
  1
  my iterator get number: 2
  2
  my iterator get number: 3
  3
  my iterator get number: 4
  4
  my iterator get number: 5
  5
  my iterator get number: 6
  6
  my iterator get number: 7
  7
  my iterator get number: 8
  8
  my iterator get number: 9
  9
Python 相关文章推荐
轻松实现python搭建微信公众平台
Feb 16 Python
Python实现的文本编辑器功能示例
Jun 30 Python
python requests爬取高德地图数据的实例
Nov 10 Python
pycharm中使用anaconda部署python环境的方法步骤
Dec 19 Python
解决django同步数据库的时候app models表没有成功创建的问题
Aug 09 Python
Python的缺点和劣势分析
Nov 19 Python
python3连接mysql获取ansible动态inventory脚本
Jan 19 Python
Django 返回json数据的实现示例
Mar 05 Python
详解用Python调用百度地图正/逆地理编码API
Jul 02 Python
python regex库实例用法总结
Jan 03 Python
python 用递归实现通用爬虫解析器
Apr 16 Python
教你怎么用Python实现GIF动图的提取及合成
Jun 15 Python
实例讲解Python编程中@property装饰器的用法
Jun 20 #Python
Python的包管理器pip更换软件源的方法详解
Jun 20 #Python
python3.5使用tkinter制作记事本
Jun 20 #Python
浅谈python抛出异常、自定义异常, 传递异常
Jun 20 #Python
python3 与python2 异常处理的区别与联系
Jun 19 #Python
浅谈Python的异常处理
Jun 19 #Python
qpython3 读取安卓lastpass Cookies
Jun 19 #Python
You might like
PHP项目开发中最常用的自定义函数整理
2010/12/02 PHP
修改ThinkPHP缓存为Memcache的方法
2014/06/25 PHP
phpnow php探针环境检测代码
2014/11/04 PHP
laravel框架分组控制器和分组路由实现方法示例
2020/01/25 PHP
用js实现控件的隐藏及style.visibility的使用
2013/06/14 Javascript
jquery五角星评分插件示例分享
2014/02/21 Javascript
jQuery级联操作绑定事件实例
2014/09/02 Javascript
Javascript基础教程之argument 详解
2015/01/18 Javascript
JS弹出窗口的运用与技巧大全
2016/11/01 Javascript
js注册时输入合法性验证方法
2017/10/21 Javascript
JavaScript中import用法总结
2019/01/20 Javascript
TypeScript开发Node.js程序的方法
2019/04/30 Javascript
layui-table获得当前行的上/下一行数据的例子
2019/09/24 Javascript
vue实现树形结构样式和功能的实例代码
2019/10/15 Javascript
理解JavaScript中的Proxy 与 Reflection API
2020/09/21 Javascript
浅谈vue.watch的触发条件是什么
2020/11/07 Javascript
[01:52]深扒TI7聊天轮盘语音出处7
2017/05/11 DOTA
[07:01]DOTA2-DPC中国联赛正赛 Aster vs Magma 3月5日 赛后选手采访
2021/03/11 DOTA
深入讲解Python函数中参数的使用及默认参数的陷阱
2016/03/13 Python
Python制作Windows系统服务
2017/03/25 Python
Python实现希尔排序算法的原理与用法实例分析
2017/11/23 Python
利用Pandas 创建空的DataFrame方法
2018/04/08 Python
Python线程同步的实现代码
2018/10/03 Python
python使用pandas处理excel文件转为csv文件的方法示例
2019/07/18 Python
HTML5之SVG 2D入门13—svg对决canvas及长处和适用场景分析
2013/01/30 HTML / CSS
英国汽车座椅和婴儿车购物网站:Uber Kids
2017/04/19 全球购物
什么是Oracle的后台进程background processes?都有哪些后台进程?
2012/04/26 面试题
医药大学生求职简历的自我评价
2013/10/17 职场文书
财务会计人员岗位职责
2013/11/30 职场文书
工地安全检查制度
2014/02/04 职场文书
应届生自荐信范文
2014/02/21 职场文书
城管执法人员纪律作风整顿思想汇报
2014/09/13 职场文书
2015年绩效考核工作总结
2015/05/23 职场文书
用Python简陋模拟n阶魔方
2021/04/17 Python
WCG2010 星际争霸决赛 Flash vs Goojila 1 星际经典比赛回顾
2022/04/01 星际争霸
python三子棋游戏
2022/05/04 Python