介绍Python中内置的itertools模块


Posted in Python onApril 29, 2015

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。

首先,我们看看itertools提供的几个“无限”迭代器:

>>> import itertools
>>> natuals = itertools.count(1)
>>> for n in natuals:
...   print n
...
1
2
3
...

因为count()会创建一个无限的迭代器,所以上述代码会打印出自然数序列,根本停不下来,只能按Ctrl+C退出。

cycle()会把传入的一个序列无限重复下去:

>>> import itertools
>>> cs = itertools.cycle('ABC') # 注意字符串也是序列的一种
>>> for c in cs:
...   print c
...
'A'
'B'
'C'
'A'
'B'
'C'
...

同样停不下来。

repeat()负责把一个元素无限重复下去,不过如果提供第二个参数就可以限定重复次数:

>>> ns = itertools.repeat('A', 10)
>>> for n in ns:
...   print n
...

打印10次'A'

无限序列只有在for迭代时才会无限地迭代下去,如果只是创建了一个迭代对象,它不会事先把无限个元素生成出来,事实上也不可能在内存中创建无限多个元素。

无限序列虽然可以无限迭代下去,但是通常我们会通过takewhile()等函数根据条件判断来截取出一个有限的序列:

>>> natuals = itertools.count(1)
>>> ns = itertools.takewhile(lambda x: x <= 10, natuals)
>>> for n in ns:
...   print n
...

打印出1到10

itertools提供的几个迭代器操作函数更加有用:
chain()

chain()可以把一组迭代对象串联起来,形成一个更大的迭代器:

for c in chain('ABC', 'XYZ'):
  print c
# 迭代效果:'A' 'B' 'C' 'X' 'Y' 'Z'

groupby()

groupby()把迭代器中相邻的重复元素挑出来放在一起:

>>> for key, group in itertools.groupby('AAABBBCCAAA'):
...   print key, list(group) # 为什么这里要用list()函数呢?
...
A ['A', 'A', 'A']
B ['B', 'B', 'B']
C ['C', 'C']
A ['A', 'A', 'A']

实际上挑选规则是通过函数完成的,只要作用于函数的两个元素返回的值相等,这两个元素就被认为是在一组的,而函数返回值作为组的key。如果我们要忽略大小写分组,就可以让元素'A'和'a'都返回相同的key:

>>> for key, group in itertools.groupby('AaaBBbcCAAa', lambda c: c.upper()):
...   print key, list(group)
...
A ['A', 'a', 'a']
B ['B', 'B', 'b']
C ['c', 'C']
A ['A', 'A', 'a']

imap()

imap()和map()的区别在于,imap()可以作用于无穷序列,并且,如果两个序列的长度不一致,以短的那个为准。

>>> for x in itertools.imap(lambda x, y: x * y, [10, 20, 30], itertools.count(1)):
...   print x
...
10
40
90

注意imap()返回一个迭代对象,而map()返回list。当你调用map()时,已经计算完毕:

>>> r = map(lambda x: x*x, [1, 2, 3])
>>> r # r已经计算出来了
[1, 4, 9]

当你调用imap()时,并没有进行任何计算:

>>> r = itertools.imap(lambda x: x*x, [1, 2, 3])
>>> r
<itertools.imap object at 0x103d3ff90>
# r只是一个迭代对象

必须用for循环对r进行迭代,才会在每次循环过程中计算出下一个元素:

>>> for x in r:
...   print x
...
1
4
9

这说明imap()实现了“惰性计算”,也就是在需要获得结果的时候才计算。类似imap()这样能够实现惰性计算的函数就可以处理无限序列:

>>> r = itertools.imap(lambda x: x*x, itertools.count(1))
>>> for n in itertools.takewhile(lambda x: x<100, r):
...   print n
...

结果是什么?

如果把imap()换成map()去处理无限序列会有什么结果?

>>> r = map(lambda x: x*x, itertools.count(1))

结果是什么?

ifilter()

不用多说了,ifilter()就是filter()的惰性实现。
小结

itertools模块提供的全部是处理迭代功能的函数,它们的返回值不是list,而是迭代对象,只有用for循环迭代的时候才真正计算。

Python 相关文章推荐
Python入门篇之条件、循环
Oct 17 Python
Python实现拼接多张图片的方法
Dec 01 Python
Python虚拟环境virtualenv的安装与使用详解
May 28 Python
python机器学习之决策树分类详解
Dec 20 Python
Python简单生成随机姓名的方法示例
Dec 27 Python
详解用python实现简单的遗传算法
Jan 02 Python
python SMTP实现发送带附件电子邮件
May 22 Python
解决python 无法加载downsample模型的问题
Oct 25 Python
PyQt5 QTableView设置某一列不可编辑的方法
Jun 25 Python
django ManyToManyField多对多关系的实例详解
Aug 09 Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 Python
Python为何不支持switch语句原理详解
Oct 21 Python
python使用fileinput模块实现逐行读取文件的方法
Apr 29 #Python
python将字符串转换成数组的方法
Apr 29 #Python
Python中使用hashlib模块处理算法的教程
Apr 28 #Python
简单介绍Python中的struct模块
Apr 28 #Python
在Python中使用base64模块处理字符编码的教程
Apr 28 #Python
使用Python的内建模块collections的教程
Apr 28 #Python
进一步探究Python中的正则表达式
Apr 28 #Python
You might like
一个图形显示IP的PHP程序代码
2007/10/19 PHP
PHP获取数组最大值下标的方法
2015/05/12 PHP
WordPress中获取页面链接和标题的相关PHP函数用法解析
2015/12/17 PHP
PHP实现数据库统计时间戳按天分组输出数据的方法
2017/10/10 PHP
javascript nextSibling 与 getNextElement(node) 使用介绍
2011/10/13 Javascript
node.js中的favicon.ico请求问题处理
2014/12/15 Javascript
js实现横向拖拽导航条功能
2017/02/17 Javascript
vue数据双向绑定的注意点
2017/06/23 Javascript
JS全角与半角转化实例(分享)
2017/07/04 Javascript
基于Bootstrap模态对话框只加载一次 remote 数据的解决方法
2017/07/09 Javascript
使用vue2.0创建的项目的步骤方法
2018/09/25 Javascript
layer弹出框确定前验证:弹出消息框的方法(弹出两个layer)
2019/09/21 Javascript
javascript实现弹出层效果
2019/12/10 Javascript
vue中js判断长时间不操作界面自动退出登录(推荐)
2020/01/22 Javascript
在Django的通用视图中处理Context的方法
2015/07/21 Python
Python使用微信SDK实现的微信支付功能示例
2017/06/30 Python
python使用turtle库与random库绘制雪花
2018/06/22 Python
Python列表生成式与生成器操作示例
2018/08/01 Python
深入理解python中sort()与sorted()的区别
2018/08/29 Python
深入浅析Python获取对象信息的函数type()、isinstance()、dir()
2018/09/17 Python
使用python获取(宜宾市地震信息)地震信息
2019/06/20 Python
python获取指定日期范围内的每一天,每个月,每季度的方法
2019/08/08 Python
Keras 在fit_generator训练方式中加入图像random_crop操作
2020/07/03 Python
python如何提升爬虫效率
2020/09/27 Python
Tiqets英国:智能手机上的文化和娱乐门票
2019/07/10 全球购物
优秀团员个人的自我评价
2013/10/02 职场文书
30岁生日感言
2014/01/25 职场文书
营销总经理岗位职责范本
2014/09/02 职场文书
2014党委书记四风对照检查材料思想汇报
2014/09/21 职场文书
国家领导干部党的群众路线教育实践活动批评与自我批评材料
2014/09/23 职场文书
雨花台导游词
2015/02/06 职场文书
2016年春节问候语
2015/11/11 职场文书
2016年4月份红领巾广播稿
2015/12/21 职场文书
五星级酒店宣传口号
2015/12/25 职场文书
初任公务员培训心得体会
2016/01/08 职场文书
Python音乐爬虫完美绕过反爬
2021/08/30 Python