Python 迭代器工具包【推荐】


Posted in Python onMay 06, 2016

原文:https://git.io/pytips

0x01 介绍了迭代器的概念,即定义了 __iter__() __next__() 方法的对象,或者通过 yield 简化定义的“可迭代对象”,而在一些函数式编程语言(见 0x02 Python 中的函数式编程)中,类似的迭代器常被用于产生特定格式的列表(或序列),这时的迭代器更像是一种数据结构而非函数(当然在一些函数式编程语言中,这两者并无本质差异)。Python 借鉴了 APL, Haskell, and SML 中的某些迭代器的构造方法,并在 itertools 中实现(该模块是通过 C 实现,源代码:/Modules/itertoolsmodule.c)。

  itertools 模块提供了如下三类迭代器构建工具:

无限迭代

整合两序列迭代

组合生成器

  1. 无限迭代

所谓无限(infinite)是指如果你通过 for...in... 的语法对其进行迭代,将陷入无限循环,包括:

count(start, [step])

cycle(p)


repeat(elem [,n])

从名字大概可以猜出它们的用法,既然说是无限迭代,我们自然不会想要将其所有元素依次迭代取出,而通常是结合 map/zip 等方法,将其作为一个取之不尽的数据仓库,与有限长度的可迭代对象进行组合操作:

from itertools import cycle, count, repeat
print(count.__doc__)
count(start=0, step=1) --> count object

Return a count object whose .__next__() method returns consecutive values.

Equivalent to:

def count(firstval=0, step=1):

x = firstval

while 1:

yield x

x += step

counter = count()

print(next(counter))
  print(next(counter))

print(list(map(lambda x, y: x+y, range(10), counter)))

odd_counter = map(lambda x: 'Odd#{}'.format(x), count(1, 2))
  print(next(odd_counter))

print(next(odd_counter))


0


1


[2, 4, 6, 8, 10, 12, 14, 16, 18, 20]


Odd#1


Odd#3


print(cycle.__doc__)


cycle(iterable) --> cycle object


Return elements from the iterable until it is exhausted.


Then repeat the sequence indefinitely.


cyc = cycle(range(5))


print(list(zip(range(6), cyc)))


print(next(cyc))


print(next(cyc))


[(0, 0), (1, 1), (2, 2), (3, 3), (4, 4), (5, 0)]


1


2


print(repeat.__doc__)


repeat(object [,times]) -> create an iterator which returns the object


for the specified number of times. If not specified, returns the object


endlessly.


print(list(repeat('Py', 3)))


rep = repeat('p')


print(list(zip(rep, 'y'*3)))


['Py', 'Py', 'Py']


[('p', 'y'), ('p', 'y'), ('p', 'y')]

2. 整合两序列迭代

所谓整合两序列,是指以两个有限序列为输入,将其整合操作之后返回为一个迭代器,最为常见的 zip 函数就属于这一类别,只不过 zip 是内置函数。这一类别完整的方法包括:

 

 accumulate()

chain()/chain.from_iterable()


compress()


dropwhile()/filterfalse()/takewhile()


groupby()


islice()


starmap()


tee()


zip_longest()

这里就不对所有的方法一一举例说明了,如果想要知道某个方法的用法,基本通过 print(method.__doc__) 就可以了解,毕竟 itertools 模块只是提供了一种快捷方式,并没有隐含什么深奥的算法。这里只对下面几个我觉得比较有趣的方法进行举例说明。

from itertools import cycle, compress, islice, takewhile, count

# 这三个方法(如果使用恰当)可以限定无限迭代


# print(compress.__doc__)


print(list(compress(cycle('PY'), [1, 0, 1, 0])))


# 像操作列表 l[start:stop:step] 一样操作其它序列


# print(islice.__doc__)


print(list(islice(cycle('PY'), 0, 2)))


# 限制版的 filter


# print(takewhile.__doc__)


print(list(takewhile(lambda x: x < 5, count())))


['P', 'P']


['P', 'Y']


[0, 1, 2, 3, 4]


from itertools import groupby


from operator import itemgetter


print(groupby.__doc__)


for k, g in groupby('AABBC'):


print(k, list(g))


db = [dict(name='python', script=True),


dict(name='c', script=False),


dict(name='c++', script=False),


dict(name='ruby', script=True)]


keyfunc = itemgetter('script')


db2 = sorted(db, key=keyfunc) # sorted by `script'


for isScript, langs in groupby(db2, keyfunc):


print(', '.join(map(itemgetter('name'), langs)))


groupby(iterable[, keyfunc]) -> create an iterator which returns


(key, sub-iterator) grouped by each value of key(value).


A ['A', 'A']


B ['B', 'B']


C ['C']


c, c++


python, ruby


from itertools import zip_longest


# 内置函数 zip 以较短序列为基准进行合并,


# zip_longest 则以最长序列为基准,并提供补足参数 fillvalue


# Python 2.7 中名为 izip_longest


print(list(zip_longest('ABCD', '123', fillvalue=0)))


[('A', '1'), ('B', '2'), ('C', '3'), ('D', 0)]

3. 组合生成器

关于生成器的排列组合: 

product(*iterables, repeat=1):两输入序列的笛卡尔乘积

permutations(iterable, r=None):对输入序列的完全排列组合


combinations(iterable, r):有序版的排列组合


combinations_with_replacement(iterable, r):有序版的笛卡尔乘积


from itertools import product, permutations, combinations, combinations_with_replacement


print(list(product(range(2), range(2))))


print(list(product('AB', repeat=2)))


[(0, 0), (0, 1), (1, 0), (1, 1)]


[('A', 'A'), ('A', 'B'), ('B', 'A'), ('B', 'B')]


print(list(combinations_with_replacement('AB', 2)))


[('A', 'A'), ('A', 'B'), ('B', 'B')]


# 赛马问题:4匹马前2名的排列组合(A^4_2)


print(list(permutations('ABCDE', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), 
 ('A', 'E'), ('B', 'A'), ('B', 'C'), 
 ('B', 'D'), ('B', 'E'), ('C', 'A'), 
 ('C', 'B'), ('C', 'D'), ('C', 'E'), 
 ('D', 'A'), ('D', 'B'), ('D', 'C'), 
 ('D', 'E'), ('E', 'A'), ('E', 'B'), ('E', 'C'), ('E', 'D')]


# 彩球问题:4种颜色的球任意抽出2个的颜色组合(C^4_2)


print(list(combinations('ABCD', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), ('B', 'C'), ('B', 'D'), ('C', 'D')]
Python 相关文章推荐
Python的“二维”字典 (two-dimension dictionary)定义与实现方法
Apr 27 Python
Python代码解决RenderView窗口not found问题
Aug 28 Python
Python实现简单网页图片抓取完整代码实例
Dec 15 Python
用python实现的线程池实例代码
Jan 06 Python
浅谈tensorflow1.0 池化层(pooling)和全连接层(dense)
Apr 27 Python
python logging重复记录日志问题的解决方法
Jul 12 Python
Python 支付整合开发包的实现
Jan 23 Python
python GUI实现小球满屏乱跑效果
May 09 Python
使用pyecharts生成Echarts网页的实例
Aug 12 Python
Python3.7 pyodbc完美配置访问access数据库
Oct 03 Python
基于opencv的selenium滑动验证码的实现
Jul 24 Python
Python 中数组和数字相乘时的注意事项说明
May 10 Python
Python中内建函数的简单用法说明
May 05 #Python
Python使用Paramiko模块编写脚本进行远程服务器操作
May 05 #Python
Python环境下搭建属于自己的pip源的教程
May 05 #Python
使用Python判断质数(素数)的简单方法讲解
May 05 #Python
Python编程中归并排序算法的实现步骤详解
May 04 #Python
Python手机号码归属地查询代码
May 04 #Python
图文讲解选择排序算法的原理及在Python中的实现
May 04 #Python
You might like
PHP自动生成月历代码
2006/10/09 PHP
php 无限级分类,超级简单的无限级分类,支持输出树状图
2014/06/29 PHP
PHP往XML中添加节点的方法
2015/03/12 PHP
php简单实现多字节字符串翻转的方法
2015/03/31 PHP
PHP实现的分解质因数操作示例
2018/08/01 PHP
Laravel如何自定义command命令浅析
2019/03/23 PHP
In Javascript Class, how to call the prototype method.(three method)
2007/01/09 Javascript
js实现DIV的一些简单控制
2007/06/04 Javascript
JavaScript 基于原型的对象(创建、调用)
2009/10/16 Javascript
jQuery中wrapInner()方法用法实例
2015/01/16 Javascript
JS使用cookie实现DIV提示框只显示一次的方法
2015/11/05 Javascript
jQuery自定义组件(导入组件)
2016/11/08 Javascript
NodeJS自定义模块写法(详解)
2017/06/27 NodeJs
Angular如何引入第三方库的方法详解
2017/07/13 Javascript
vue项目如何刷新当前页面的方法
2018/05/18 Javascript
JS实现数组的增删改查操作示例
2018/08/29 Javascript
javascript设计模式之迭代器模式
2020/01/30 Javascript
JavaScript forEach中return失效问题解决方案
2020/06/01 Javascript
jQuery 移除事件的方法
2020/06/20 jQuery
使用python的chardet库获得文件编码并修改编码
2014/01/22 Python
在Python的Django框架中获取单个对象数据的简单方法
2015/07/17 Python
Python 关于反射和类的特殊成员方法
2017/09/14 Python
pycharm重命名文件的方法步骤
2019/07/29 Python
给大家整理了19个pythonic的编程习惯(小结)
2019/09/25 Python
Django模板之基本的 for 循环 和 List内容的显示方式
2020/03/31 Python
Python 爬虫性能相关总结
2020/08/03 Python
python 利用opencv实现图像网络传输
2020/11/12 Python
梅西酒窖:Macy’s Wine Cellar
2018/01/07 全球购物
马来西亚最大的在线隐形眼镜商店:MrLens
2019/03/27 全球购物
瑞士男士时尚网上商店:Babista
2020/05/14 全球购物
中学生打架检讨书
2014/02/10 职场文书
大学生团日活动总结
2015/05/06 职场文书
搞笑的婚礼主持词
2015/06/29 职场文书
校园安全主题班会
2015/08/12 职场文书
SQL Server数据库查询出现阻塞之性能调优
2022/04/10 SQL Server
Python万能模板案例之matplotlib绘制直方图的基本配置
2022/04/13 Python