Python 迭代器工具包【推荐】


Posted in Python onMay 06, 2016

原文:https://git.io/pytips

0x01 介绍了迭代器的概念,即定义了 __iter__() __next__() 方法的对象,或者通过 yield 简化定义的“可迭代对象”,而在一些函数式编程语言(见 0x02 Python 中的函数式编程)中,类似的迭代器常被用于产生特定格式的列表(或序列),这时的迭代器更像是一种数据结构而非函数(当然在一些函数式编程语言中,这两者并无本质差异)。Python 借鉴了 APL, Haskell, and SML 中的某些迭代器的构造方法,并在 itertools 中实现(该模块是通过 C 实现,源代码:/Modules/itertoolsmodule.c)。

  itertools 模块提供了如下三类迭代器构建工具:

无限迭代

整合两序列迭代

组合生成器

  1. 无限迭代

所谓无限(infinite)是指如果你通过 for...in... 的语法对其进行迭代,将陷入无限循环,包括:

count(start, [step])

cycle(p)


repeat(elem [,n])

从名字大概可以猜出它们的用法,既然说是无限迭代,我们自然不会想要将其所有元素依次迭代取出,而通常是结合 map/zip 等方法,将其作为一个取之不尽的数据仓库,与有限长度的可迭代对象进行组合操作:

from itertools import cycle, count, repeat
print(count.__doc__)
count(start=0, step=1) --> count object

Return a count object whose .__next__() method returns consecutive values.

Equivalent to:

def count(firstval=0, step=1):

x = firstval

while 1:

yield x

x += step

counter = count()

print(next(counter))
  print(next(counter))

print(list(map(lambda x, y: x+y, range(10), counter)))

odd_counter = map(lambda x: 'Odd#{}'.format(x), count(1, 2))
  print(next(odd_counter))

print(next(odd_counter))


0


1


[2, 4, 6, 8, 10, 12, 14, 16, 18, 20]


Odd#1


Odd#3


print(cycle.__doc__)


cycle(iterable) --> cycle object


Return elements from the iterable until it is exhausted.


Then repeat the sequence indefinitely.


cyc = cycle(range(5))


print(list(zip(range(6), cyc)))


print(next(cyc))


print(next(cyc))


[(0, 0), (1, 1), (2, 2), (3, 3), (4, 4), (5, 0)]


1


2


print(repeat.__doc__)


repeat(object [,times]) -> create an iterator which returns the object


for the specified number of times. If not specified, returns the object


endlessly.


print(list(repeat('Py', 3)))


rep = repeat('p')


print(list(zip(rep, 'y'*3)))


['Py', 'Py', 'Py']


[('p', 'y'), ('p', 'y'), ('p', 'y')]

2. 整合两序列迭代

所谓整合两序列,是指以两个有限序列为输入,将其整合操作之后返回为一个迭代器,最为常见的 zip 函数就属于这一类别,只不过 zip 是内置函数。这一类别完整的方法包括:

 

 accumulate()

chain()/chain.from_iterable()


compress()


dropwhile()/filterfalse()/takewhile()


groupby()


islice()


starmap()


tee()


zip_longest()

这里就不对所有的方法一一举例说明了,如果想要知道某个方法的用法,基本通过 print(method.__doc__) 就可以了解,毕竟 itertools 模块只是提供了一种快捷方式,并没有隐含什么深奥的算法。这里只对下面几个我觉得比较有趣的方法进行举例说明。

from itertools import cycle, compress, islice, takewhile, count

# 这三个方法(如果使用恰当)可以限定无限迭代


# print(compress.__doc__)


print(list(compress(cycle('PY'), [1, 0, 1, 0])))


# 像操作列表 l[start:stop:step] 一样操作其它序列


# print(islice.__doc__)


print(list(islice(cycle('PY'), 0, 2)))


# 限制版的 filter


# print(takewhile.__doc__)


print(list(takewhile(lambda x: x < 5, count())))


['P', 'P']


['P', 'Y']


[0, 1, 2, 3, 4]


from itertools import groupby


from operator import itemgetter


print(groupby.__doc__)


for k, g in groupby('AABBC'):


print(k, list(g))


db = [dict(name='python', script=True),


dict(name='c', script=False),


dict(name='c++', script=False),


dict(name='ruby', script=True)]


keyfunc = itemgetter('script')


db2 = sorted(db, key=keyfunc) # sorted by `script'


for isScript, langs in groupby(db2, keyfunc):


print(', '.join(map(itemgetter('name'), langs)))


groupby(iterable[, keyfunc]) -> create an iterator which returns


(key, sub-iterator) grouped by each value of key(value).


A ['A', 'A']


B ['B', 'B']


C ['C']


c, c++


python, ruby


from itertools import zip_longest


# 内置函数 zip 以较短序列为基准进行合并,


# zip_longest 则以最长序列为基准,并提供补足参数 fillvalue


# Python 2.7 中名为 izip_longest


print(list(zip_longest('ABCD', '123', fillvalue=0)))


[('A', '1'), ('B', '2'), ('C', '3'), ('D', 0)]

3. 组合生成器

关于生成器的排列组合: 

product(*iterables, repeat=1):两输入序列的笛卡尔乘积

permutations(iterable, r=None):对输入序列的完全排列组合


combinations(iterable, r):有序版的排列组合


combinations_with_replacement(iterable, r):有序版的笛卡尔乘积


from itertools import product, permutations, combinations, combinations_with_replacement


print(list(product(range(2), range(2))))


print(list(product('AB', repeat=2)))


[(0, 0), (0, 1), (1, 0), (1, 1)]


[('A', 'A'), ('A', 'B'), ('B', 'A'), ('B', 'B')]


print(list(combinations_with_replacement('AB', 2)))


[('A', 'A'), ('A', 'B'), ('B', 'B')]


# 赛马问题:4匹马前2名的排列组合(A^4_2)


print(list(permutations('ABCDE', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), 
 ('A', 'E'), ('B', 'A'), ('B', 'C'), 
 ('B', 'D'), ('B', 'E'), ('C', 'A'), 
 ('C', 'B'), ('C', 'D'), ('C', 'E'), 
 ('D', 'A'), ('D', 'B'), ('D', 'C'), 
 ('D', 'E'), ('E', 'A'), ('E', 'B'), ('E', 'C'), ('E', 'D')]


# 彩球问题:4种颜色的球任意抽出2个的颜色组合(C^4_2)


print(list(combinations('ABCD', 2)))


[('A', 'B'), ('A', 'C'), ('A', 'D'), ('B', 'C'), ('B', 'D'), ('C', 'D')]
Python 相关文章推荐
python解析xml文件操作实例
Oct 05 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 Python
django上传图片并生成缩略图方法示例
Dec 11 Python
利用python为运维人员写一个监控脚本
Mar 25 Python
python接口自动化(十六)--参数关联接口后传(详解)
Apr 16 Python
python使用opencv实现马赛克效果示例
Sep 28 Python
python安装dlib库报错问题及解决方法
Mar 16 Python
Python3自定义json逐层解析器代码
May 11 Python
Django中使用Json返回数据的实现方法
Jun 03 Python
python与pycharm有何区别
Jul 01 Python
python使用requests库爬取拉勾网招聘信息的实现
Nov 20 Python
python爬虫框架feapde的使用简介
Apr 20 Python
Python中内建函数的简单用法说明
May 05 #Python
Python使用Paramiko模块编写脚本进行远程服务器操作
May 05 #Python
Python环境下搭建属于自己的pip源的教程
May 05 #Python
使用Python判断质数(素数)的简单方法讲解
May 05 #Python
Python编程中归并排序算法的实现步骤详解
May 04 #Python
Python手机号码归属地查询代码
May 04 #Python
图文讲解选择排序算法的原理及在Python中的实现
May 04 #Python
You might like
PHP数据库开发知多少
2006/10/09 PHP
七款最流行的PHP本地服务器分享
2013/02/19 PHP
如何批量替换相对地址为绝对地址(利用bat批处理实现)
2013/05/27 PHP
PHP环境中Memcache的安装和使用
2015/11/05 PHP
Yii2如何批量添加数据
2016/05/17 PHP
ThinkPHP5与单元测试PHPUnit使用详解
2020/02/23 PHP
一款Jquery 分页插件的改造方法(服务器端分页)
2011/07/11 Javascript
AngularJS入门(用ng-repeat指令实现循环输出
2016/05/05 Javascript
asp.net+jquery.form实现图片异步上传的方法(附jquery.form.js下载)
2016/05/05 Javascript
Angular的模块化(代码分享)
2016/12/26 Javascript
纯js实现画一棵树的示例
2017/09/05 Javascript
React教程之封装一个Portal可复用组件的方法
2018/01/02 Javascript
基于jquery trigger函数无法触发a标签的两种解决方法
2018/01/06 jQuery
Vue自定义render统一项目组弹框功能
2020/06/07 Javascript
Vue组件通信$attrs、$listeners实现原理解析
2020/09/03 Javascript
[53:10]2018DOTA2亚洲邀请赛 4.6 淘汰赛 VP vs VG 第一场
2018/04/11 DOTA
[55:44]OG vs NAVI 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
python条件和循环的使用方法
2013/11/01 Python
Python编程生成随机用户名及密码的方法示例
2017/05/05 Python
python实现验证码识别功能
2018/06/07 Python
python实现微信自动回复机器人功能
2019/07/11 Python
Pytest参数化parametrize使用代码实例
2020/02/22 Python
Windows 下更改 jupyterlab 默认启动位置的教程详解
2020/05/18 Python
PyChon中关于Jekins的详细安装(推荐)
2020/12/28 Python
HTML5计时器小例子
2013/10/15 HTML / CSS
师范大学应届生求职信
2013/11/21 职场文书
创业计划书怎样才能打动风投
2014/01/01 职场文书
讲文明树新风演讲稿
2014/05/12 职场文书
办公室主任竞聘演讲稿
2014/05/15 职场文书
工作经常出错的检讨书
2014/09/13 职场文书
劳动争议和解协议书范本
2014/11/20 职场文书
2015年公司国庆放假通知
2015/07/30 职场文书
销售人员管理制度
2015/08/06 职场文书
Python字典和列表性能之间的比较
2021/06/07 Python
django中websocket的具体使用
2022/01/22 Python
「回转企鹅罐」10周年纪念展「輪るピングドラム展」海报公开
2022/03/22 日漫