介绍Python中内置的itertools模块


Posted in Python onApril 29, 2015

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。

首先,我们看看itertools提供的几个“无限”迭代器:

>>> import itertools
>>> natuals = itertools.count(1)
>>> for n in natuals:
...   print n
...
1
2
3
...

因为count()会创建一个无限的迭代器,所以上述代码会打印出自然数序列,根本停不下来,只能按Ctrl+C退出。

cycle()会把传入的一个序列无限重复下去:

>>> import itertools
>>> cs = itertools.cycle('ABC') # 注意字符串也是序列的一种
>>> for c in cs:
...   print c
...
'A'
'B'
'C'
'A'
'B'
'C'
...

同样停不下来。

repeat()负责把一个元素无限重复下去,不过如果提供第二个参数就可以限定重复次数:

>>> ns = itertools.repeat('A', 10)
>>> for n in ns:
...   print n
...

打印10次'A'

无限序列只有在for迭代时才会无限地迭代下去,如果只是创建了一个迭代对象,它不会事先把无限个元素生成出来,事实上也不可能在内存中创建无限多个元素。

无限序列虽然可以无限迭代下去,但是通常我们会通过takewhile()等函数根据条件判断来截取出一个有限的序列:

>>> natuals = itertools.count(1)
>>> ns = itertools.takewhile(lambda x: x <= 10, natuals)
>>> for n in ns:
...   print n
...

打印出1到10

itertools提供的几个迭代器操作函数更加有用:
chain()

chain()可以把一组迭代对象串联起来,形成一个更大的迭代器:

for c in chain('ABC', 'XYZ'):
  print c
# 迭代效果:'A' 'B' 'C' 'X' 'Y' 'Z'

groupby()

groupby()把迭代器中相邻的重复元素挑出来放在一起:

>>> for key, group in itertools.groupby('AAABBBCCAAA'):
...   print key, list(group) # 为什么这里要用list()函数呢?
...
A ['A', 'A', 'A']
B ['B', 'B', 'B']
C ['C', 'C']
A ['A', 'A', 'A']

实际上挑选规则是通过函数完成的,只要作用于函数的两个元素返回的值相等,这两个元素就被认为是在一组的,而函数返回值作为组的key。如果我们要忽略大小写分组,就可以让元素'A'和'a'都返回相同的key:

>>> for key, group in itertools.groupby('AaaBBbcCAAa', lambda c: c.upper()):
...   print key, list(group)
...
A ['A', 'a', 'a']
B ['B', 'B', 'b']
C ['c', 'C']
A ['A', 'A', 'a']

imap()

imap()和map()的区别在于,imap()可以作用于无穷序列,并且,如果两个序列的长度不一致,以短的那个为准。

>>> for x in itertools.imap(lambda x, y: x * y, [10, 20, 30], itertools.count(1)):
...   print x
...
10
40
90

注意imap()返回一个迭代对象,而map()返回list。当你调用map()时,已经计算完毕:

>>> r = map(lambda x: x*x, [1, 2, 3])
>>> r # r已经计算出来了
[1, 4, 9]

当你调用imap()时,并没有进行任何计算:

>>> r = itertools.imap(lambda x: x*x, [1, 2, 3])
>>> r
<itertools.imap object at 0x103d3ff90>
# r只是一个迭代对象

必须用for循环对r进行迭代,才会在每次循环过程中计算出下一个元素:

>>> for x in r:
...   print x
...
1
4
9

这说明imap()实现了“惰性计算”,也就是在需要获得结果的时候才计算。类似imap()这样能够实现惰性计算的函数就可以处理无限序列:

>>> r = itertools.imap(lambda x: x*x, itertools.count(1))
>>> for n in itertools.takewhile(lambda x: x<100, r):
...   print n
...

结果是什么?

如果把imap()换成map()去处理无限序列会有什么结果?

>>> r = map(lambda x: x*x, itertools.count(1))

结果是什么?

ifilter()

不用多说了,ifilter()就是filter()的惰性实现。
小结

itertools模块提供的全部是处理迭代功能的函数,它们的返回值不是list,而是迭代对象,只有用for循环迭代的时候才真正计算。

Python 相关文章推荐
Python多线程下载文件的方法
Jul 10 Python
详解Django缓存处理中Vary头部的使用
Jul 24 Python
Python编程实现线性回归和批量梯度下降法代码实例
Jan 04 Python
Tensorflow 利用tf.contrib.learn建立输入函数的方法
Feb 08 Python
python+PyQT实现系统桌面时钟
Jun 16 Python
对Django的restful用法详解(自带的增删改查)
Aug 28 Python
python迭代器常见用法实例分析
Nov 22 Python
pytorch逐元素比较tensor大小实例
Jan 03 Python
Python 动态变量名定义与调用方法
Feb 09 Python
Python实现密钥密码(加解密)实例详解
Apr 26 Python
python将logging模块封装成单独模块并实现动态切换Level方式
May 12 Python
使用Python解决图表与画布的间距问题
Apr 11 Python
python使用fileinput模块实现逐行读取文件的方法
Apr 29 #Python
python将字符串转换成数组的方法
Apr 29 #Python
Python中使用hashlib模块处理算法的教程
Apr 28 #Python
简单介绍Python中的struct模块
Apr 28 #Python
在Python中使用base64模块处理字符编码的教程
Apr 28 #Python
使用Python的内建模块collections的教程
Apr 28 #Python
进一步探究Python中的正则表达式
Apr 28 #Python
You might like
Linux Apache PHP Oracle 安装配置(具体操作步骤)
2013/06/17 PHP
php目录遍历函数opendir用法实例
2014/11/20 PHP
JS提交并解析后台返回的XML的代码
2008/11/03 Javascript
jquery插件jbox使用iframe关闭问题
2009/02/09 Javascript
NodeJS url验证(url-valid)的使用方法
2013/11/18 NodeJs
js数组操作常用方法
2014/05/08 Javascript
javascript 获取HTML DOM父、子、临近节点
2014/06/16 Javascript
gameboy网页闯关游戏(riddle webgame)--仿微信聊天的前端页面设计和难点
2016/02/21 Javascript
再谈javascript常见错误及解决方法
2016/09/16 Javascript
Vue.js绑定HTML class数组语法错误的原因分析
2016/10/19 Javascript
基于javascript实现的购物商城商品倒计时实例
2016/12/11 Javascript
jQuery滚动监听实现商城楼梯式导航效果
2017/03/06 Javascript
Angular2环境搭建具体操作步骤(推荐)
2017/08/04 Javascript
Vue引入jquery实现平滑滚动到指定位置
2018/05/09 jQuery
vue组件之间数据传递的方法实例分析
2019/02/12 Javascript
vue axios封装及API统一管理的方法
2019/04/18 Javascript
JavaScript构造函数原理及实现流程解析
2020/11/19 Javascript
python基础教程之面向对象的一些概念
2014/08/29 Python
python执行外部程序的常用方法小结
2015/03/21 Python
恢复百度云盘本地误删的文件脚本(简单方法)
2017/10/21 Python
Python3实现的画图及加载图片动画效果示例
2018/01/19 Python
django在接受post请求时显示403forbidden实例解析
2018/01/25 Python
Python如何使用函数做字典的值
2019/11/30 Python
Python TKinter如何自动关闭主窗口
2020/02/26 Python
20行Python代码实现视频字符化功能
2020/04/13 Python
Keras 快速解决OOM超内存的问题
2020/06/11 Python
css3 box-shadow阴影(外阴影与外发光)图示讲解
2017/08/11 HTML / CSS
关于box-sizing的全面理解
2016/07/28 HTML / CSS
CSS实现半透明边框与多重边框的场景分析
2019/11/13 HTML / CSS
2014领导班子专题民主生活会对照检查材料思想汇报
2014/09/23 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
求职自我评价怎么写
2015/03/09 职场文书
如何写好开幕词?
2019/06/24 职场文书
canvas多重阴影发光效果实现
2021/04/20 Javascript
python如何做代码性能分析
2021/04/26 Python
MySQL 逻辑备份 into outfile
2022/05/15 MySQL