Python 迭代器工具包【推荐】


Posted in Python onMay 06, 2016

原文:https://git.io/pytips

0x01 介绍了迭代器的概念,即定义了 __iter__() __next__() 方法的对象,或者通过 yield 简化定义的“可迭代对象”,而在一些函数式编程语言(见 0x02 Python 中的函数式编程)中,类似的迭代器常被用于产生特定格式的列表(或序列),这时的迭代器更像是一种数据结构而非函数(当然在一些函数式编程语言中,这两者并无本质差异)。Python 借鉴了 APL, Haskell, and SML 中的某些迭代器的构造方法,并在 itertools 中实现(该模块是通过 C 实现,源代码:/Modules/itertoolsmodule.c)。

  itertools 模块提供了如下三类迭代器构建工具:

无限迭代

整合两序列迭代

组合生成器

  1. 无限迭代

所谓无限(infinite)是指如果你通过 for...in... 的语法对其进行迭代,将陷入无限循环,包括:

count(start, [step])

cycle(p)


repeat(elem [,n])

从名字大概可以猜出它们的用法,既然说是无限迭代,我们自然不会想要将其所有元素依次迭代取出,而通常是结合 map/zip 等方法,将其作为一个取之不尽的数据仓库,与有限长度的可迭代对象进行组合操作:

from itertools import cycle, count, repeat
print(count.__doc__)
count(start=0, step=1) --> count object

Return a count object whose .__next__() method returns consecutive values.

Equivalent to:

def count(firstval=0, step=1):

x = firstval

while 1:

yield x

x += step

counter = count()

print(next(counter))
  print(next(counter))

print(list(map(lambda x, y: x+y, range(10), counter)))

odd_counter = map(lambda x: 'Odd#{}'.format(x), count(1, 2))
  print(next(odd_counter))

print(next(odd_counter))


0


1


[2, 4, 6, 8, 10, 12, 14, 16, 18, 20]


Odd#1


Odd#3


print(cycle.__doc__)


cycle(iterable) --> cycle object


Return elements from the iterable until it is exhausted.


Then repeat the sequence indefinitely.


cyc = cycle(range(5))


print(list(zip(range(6), cyc)))


print(next(cyc))


print(next(cyc))


[(0, 0), (1, 1), (2, 2), (3, 3), (4, 4), (5, 0)]


1


2


print(repeat.__doc__)


repeat(object [,times]) -> create an iterator which returns the object


for the specified number of times. If not specified, returns the object


endlessly.


print(list(repeat('Py', 3)))


rep = repeat('p')


print(list(zip(rep, 'y'*3)))


['Py', 'Py', 'Py']


[('p', 'y'), ('p', 'y'), ('p', 'y')]

2. 整合两序列迭代

所谓整合两序列,是指以两个有限序列为输入,将其整合操作之后返回为一个迭代器,最为常见的 zip 函数就属于这一类别,只不过 zip 是内置函数。这一类别完整的方法包括:

 

 accumulate()

chain()/chain.from_iterable()


compress()


dropwhile()/filterfalse()/takewhile()


groupby()


islice()


starmap()


tee()


zip_longest()

这里就不对所有的方法一一举例说明了,如果想要知道某个方法的用法,基本通过 print(method.__doc__) 就可以了解,毕竟 itertools 模块只是提供了一种快捷方式,并没有隐含什么深奥的算法。这里只对下面几个我觉得比较有趣的方法进行举例说明。

from itertools import cycle, compress, islice, takewhile, count

# 这三个方法(如果使用恰当)可以限定无限迭代


# print(compress.__doc__)


print(list(compress(cycle('PY'), [1, 0, 1, 0])))


# 像操作列表 l[start:stop:step] 一样操作其它序列


# print(islice.__doc__)


print(list(islice(cycle('PY'), 0, 2)))


# 限制版的 filter


# print(takewhile.__doc__)


print(list(takewhile(lambda x: x < 5, count())))


['P', 'P']


['P', 'Y']


[0, 1, 2, 3, 4]


from itertools import groupby


from operator import itemgetter


print(groupby.__doc__)


for k, g in groupby('AABBC'):


print(k, list(g))


db = [dict(name='python', script=True),


dict(name='c', script=False),


dict(name='c++', script=False),


dict(name='ruby', script=True)]


keyfunc = itemgetter('script')


db2 = sorted(db, key=keyfunc) # sorted by `script'


for isScript, langs in groupby(db2, keyfunc):


print(', '.join(map(itemgetter('name'), langs)))


groupby(iterable[, keyfunc]) -> create an iterator which returns


(key, sub-iterator) grouped by each value of key(value).


A ['A', 'A']


B ['B', 'B']


C ['C']


c, c++


python, ruby


from itertools import zip_longest


# 内置函数 zip 以较短序列为基准进行合并,


# zip_longest 则以最长序列为基准,并提供补足参数 fillvalue


# Python 2.7 中名为 izip_longest


print(list(zip_longest('ABCD', '123', fillvalue=0)))


[('A', '1'), ('B', '2'), ('C', '3'), ('D', 0)]

3. 组合生成器

关于生成器的排列组合: 

product(*iterables, repeat=1):两输入序列的笛卡尔乘积

permutations(iterable, r=None):对输入序列的完全排列组合


combinations(iterable, r):有序版的排列组合


combinations_with_replacement(iterable, r):有序版的笛卡尔乘积


from itertools import product, permutations, combinations, combinations_with_replacement


print(list(product(range(2), range(2))))


print(list(product('AB', repeat=2)))


[(0, 0), (0, 1), (1, 0), (1, 1)]


[('A', 'A'), ('A', 'B'), ('B', 'A'), ('B', 'B')]


print(list(combinations_with_replacement('AB', 2)))


[('A', 'A'), ('A', 'B'), ('B', 'B')]


# 赛马问题:4匹马前2名的排列组合(A^4_2)


print(list(permutations('ABCDE', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), 
 ('A', 'E'), ('B', 'A'), ('B', 'C'), 
 ('B', 'D'), ('B', 'E'), ('C', 'A'), 
 ('C', 'B'), ('C', 'D'), ('C', 'E'), 
 ('D', 'A'), ('D', 'B'), ('D', 'C'), 
 ('D', 'E'), ('E', 'A'), ('E', 'B'), ('E', 'C'), ('E', 'D')]


# 彩球问题:4种颜色的球任意抽出2个的颜色组合(C^4_2)


print(list(combinations('ABCD', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), ('B', 'C'), ('B', 'D'), ('C', 'D')]
Python 相关文章推荐
wxpython 学习笔记 第一天
Feb 09 Python
python从入门到精通(DAY 2)
Dec 20 Python
Python实现的弹球小游戏示例
Aug 01 Python
使用pandas批量处理矢量化字符串的实例讲解
Jul 10 Python
Python文件打开方式实例详解【a、a+、r+、w+区别】
Mar 30 Python
pyQT5 实现窗体之间传值的示例
Jun 20 Python
Python循环中else,break和continue的用法实例详解
Jul 11 Python
Python Opencv任意形状目标检测并绘制框图
Jul 23 Python
Python用input输入列表的实例代码
Feb 07 Python
Django 博客实现简单的全文搜索的示例代码
Feb 17 Python
Python加载数据的5种不同方式(收藏)
Nov 13 Python
python区块链实现简版工作量证明
May 25 Python
Python中内建函数的简单用法说明
May 05 #Python
Python使用Paramiko模块编写脚本进行远程服务器操作
May 05 #Python
Python环境下搭建属于自己的pip源的教程
May 05 #Python
使用Python判断质数(素数)的简单方法讲解
May 05 #Python
Python编程中归并排序算法的实现步骤详解
May 04 #Python
Python手机号码归属地查询代码
May 04 #Python
图文讲解选择排序算法的原理及在Python中的实现
May 04 #Python
You might like
多重?l件?合查?(一)
2006/10/09 PHP
PHP教程 基本语法
2009/10/23 PHP
php去掉字符串的最后一个字符附substr()的用法
2011/03/23 PHP
php获取、检查类名、函数名、方法名的函数方法
2015/06/25 PHP
php反射学习之不用new方法实例化类操作示例
2019/06/14 PHP
在修改准备发的批量美化select+可修改select时,在非IE下发现了几个问题
2007/01/09 Javascript
javascript AutoScroller 函数类
2009/05/29 Javascript
javascript 必知必会之closure
2009/09/21 Javascript
js将当前时间格式转换成时间搓(自写)
2013/09/26 Javascript
刷新页面的几种方法小结(JS,ASP.NET)
2014/01/07 Javascript
JavaScript获取页面中表单(form)数量的方法
2015/04/03 Javascript
javascript常用函数(1)
2015/11/04 Javascript
JS实现留言板功能
2017/06/17 Javascript
React Native之ListView实现九宫格效果的示例
2017/08/02 Javascript
jquery+css实现简单的图片轮播效果
2017/08/07 jQuery
js实现可以点击收缩或张开的悬浮窗
2017/09/18 Javascript
boostrap模态框二次弹出清空原有内容的方法
2018/08/10 Javascript
微信小程序组件传值图示过程详解
2019/07/31 Javascript
layui 动态设置checbox 选中状态的例子
2019/09/02 Javascript
JavaScript this在函数中的指向及实例详解
2019/10/14 Javascript
python自动安装pip
2014/04/24 Python
python获取指定路径下所有指定后缀文件的方法
2015/05/26 Python
PyQt5每天必学之工具提示功能
2018/04/19 Python
Python中三元表达式的几种写法介绍
2019/03/04 Python
使用Nibabel库对nii格式图像的读写操作
2020/07/01 Python
python redis存入字典序列化存储教程
2020/07/16 Python
Python与C/C++的相互调用案例
2021/03/04 Python
canvas之万花筒效果的简单实现(推荐)
2016/08/16 HTML / CSS
意大利体育用品和运动服网上商店:Maxi Sport
2019/09/14 全球购物
英国在线药房和在线医生:LloydsPharmacy
2019/10/21 全球购物
酒店销售主管岗位职责
2014/01/04 职场文书
四风专项整治工作情况汇报
2014/10/28 职场文书
护士辞职信怎么写
2015/02/27 职场文书
2016年七夕爱情寄语
2015/12/04 职场文书
事业单位工作人员岗前培训心得体会
2016/01/08 职场文书
在Centos 8.0中安装Redis服务器的教程详解
2022/03/21 Redis