浅析Python迭代器的高级用法


Posted in Python onJuly 16, 2020

跳过开头

首先是跳过开始部分,这个在我们读取文本的时候最常用。在实际的应用当中,比如记录的日志或者是代码等等,一般来说头部都会附上一段说明,或者用注释标注或者是用特殊的符号标记。这些信息是给用到数据的程序员看的,当我们通过代码获取数据的时候,显然是希望可以过滤掉这些信息的。

比如我们有一段数据,它的开头用#做了一些注释:

# This is a data for student
# Rows 100

xiaoming, 17, 99;
xiaoli, 18, 98;
...

常规操作当中,我们会创建一个打开文件的迭代器,我们通过遍历这个迭代器去获取文件当中的数据:

with open('xxxx.txt') as f:
  for line in f:
    print(line)

如果只是用来输出还好,如果我们需要加工文件当中的数据,那么头部的注释信息就会干扰我们代码的运行。我们当然可以手动加入一些判断,但是这会比较麻烦,代码也不够美观。针对这个问题,一个比较好的解决方案是dropwhile。

dropwhile是itemtools当中的一个函数,它可以接收一个我们自定义的过滤函数和迭代器重新生成一个新的迭代器,这个新的迭代器当中会过滤掉之前迭代器头部不符合我们要求的数据:

在刚才的例子当中我们想要过滤掉头部加了#注释的部分,我们可以这么操作:

from itertools import dropwhile
with open('xxxx.txt') as f:
  for line in dropwhile(lambda line: line.startswith('#'), f):
    print(line)

这样出来的结果就没有头部我们不需要的内容了。

当我们知道头部不符合情况的数据的格式的时候,可以使用dropwhile来规定过滤的格式。如果我们知道需要过滤的条数,则可以使用另外一个工具,叫做islice,它的本质是一个切片函数,就像是Python当中数组的切片功能一样,可以切出迭代器当中指定片段的数据。

举个例子:

from itertools import dropwhile
with open('xxxx.txt') as f:
  for line in islice(f, 3, None):
    print(line)

这样我们就会从第三行开始获取,之前的数据会被过滤掉。它其实就代表着数组当中[3: ]的切片操作。

迭代排列组合

我们都知道在C++当中有一个叫做next_permutation的函数,可以传入一个数组,返回下一个字典序的排列。在Python当中也有同样的功能,但是是以迭代器的形式使用的。

举个简单的例子,比如我们有a, b, c三个元素,我们希望求出它的所有排列:

items = ['a', 'b', 'c']
from itertools import permutations

for p in permutations(items):
  print(p)

permutations还支持多传一个参数,比如上述的排列当中我们希望只保留前两个元素,除了切片之外,我们只需要多传一个参数就好了,like this:

for p in permutations(items, 2):
  print(p)

除了排列之外,itertools当中还支持组合,用法还是一样,只是把函数名称换成是combinations而已:

from itertools import combindations
for c in combinations(items):
  print(c)

在一般的组合当中,一个元素一旦被选中那么它接下来就会从候选集当中移除,再也不会被选中。如果我们希望获得有放回的组合,我们可以再换一个函数,这个函数名称有点长,但是名字倒也直观叫做combinations_with_replacement。但既然是有放回的抽样,我们需要设定元素的数量,否则抽样可以无限进行下去。

for c in combinations_with_replacement(items, 3):
  print(c)

迭代合并后的序列

上一篇文章当中我们介绍了zip可以同时迭代多个迭代器,除此之外还有一种情况是我们需要把多个迭代器串起来迭代。比如系统的日志打在了多个文件当中,我们希望找出其中有error的日志来分析。这个时候,我们希望的不是同时读取多个迭代器,而是希望能够有办法将多个迭代器的内容串联起来。这个功能就是itertools当中的chain方法,它接受多个迭代器,当我们遍历的时候,会自动将多个迭代器的内容串联起来,我们可以无缝迭代。

举个例子:

from itertools import chain
nums = [1, 2, 3]
chars = ['a', 'b', 'c']

for i in chain(nums, chars):
  print(i)

这样我们会把nums和chars当中的内容一起输出出来,就好像从头到尾只执行了一个迭代器一样

你可能会说我们不用chain也可以实现啊,我们可以这样:

for i in nums + chars:
  print(i)

的确,从结果上来看这样也是行得通的。但是如果我们分析一下内部执行的时候的中间变量,会发现当我们执行nums+chars的时候,实际上是先创建了一个新的临时list。然后在这个list当中存储nums和chars的数据,也就是说我们迭代的其实是这个新的list。这带来的结果是我们额外开辟了一段内存,并且花费了一些时间。如果我们使用chain,它并不会有这样的中间变量,完全是通过迭代器来执行的迭代,非常节省内存,这也是chain的优点。

归并迭代的内容

对于归并操作我们应该都不陌生,在之前的归并排序以及一些题解的文章当中我们见过很多次。同样,我们在使用工具合并多个迭代器内容的时候,如果迭代器当中的内容有序,我们也可以对多个迭代器当中的元素进行归并,而不再需要我们自己手动操作。

使用我们之前介绍的heapq的库可以非常轻松地做到这一点,我们一起来看一个例子:

a = [1, 3, 5]
b = [2, 4, 6]

import heapq

for c in heapq.merge(a, b):
  print(c)

执行之后,我们会得到[1, 2, 3, 4, 5, 6]的结果。也就是说通过heapq.merge操作,我们把多个有序的迭代器合并到了一起。当然我们也可以自己合并,但如果我们只是需要利用当中的数据的话,使用merge操作可以节省内存空间。

到这里内容就结束了,本文和之前的文章基本上列举完了常用的迭代器用法。当然,除了上述讲到的内容之外,Python当中的迭代器还有一些其他的用法,不过相对不太常用,感兴趣的同学可以私下了解。

以上就是浅析Python迭代器的高级用法的详细内容,更多关于Python迭代器的高级用法的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python开发WebService系列教程之REST,web.py,eurasia,Django
Jun 30 Python
python 剪切移动文件的实现代码
Aug 02 Python
Python多图片合并PDF的方法
Jan 03 Python
解决Python 命令行执行脚本时,提示导入的包找不到的问题
Jan 19 Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 Python
如何利用python给图片添加半透明水印
Sep 06 Python
python将字母转化为数字实例方法
Oct 04 Python
Python @property装饰器原理解析
Jan 22 Python
Python内置类型性能分析过程实例
Jan 29 Python
探秘TensorFlow 和 NumPy 的 Broadcasting 机制
Mar 13 Python
Django Admin 上传文件到七牛云的示例代码
Jun 20 Python
Python .py生成.pyd文件并打包.exe 的注意事项说明
Mar 04 Python
python 使用递归的方式实现语义图片分割功能
Jul 16 #Python
Django serializer优化类视图的实现示例
Jul 16 #Python
python中plt.imshow与cv2.imshow显示颜色问题
Jul 16 #Python
Python实现GIF图倒放
Jul 16 #Python
浅谈python处理json和redis hash的坑
Jul 16 #Python
Python requests及aiohttp速度对比代码实例
Jul 16 #Python
Python3 搭建Qt5 环境的方法示例
Jul 16 #Python
You might like
php auth_http类库进行身份效验
2009/03/19 PHP
php中配置文件操作 如config.php文件的读取修改等操作
2012/07/07 PHP
IIS6.0 开启Gzip方法及PHP Gzip函数分享
2014/06/08 PHP
php将数组存储为文本文件方法汇总
2015/10/28 PHP
JS 动态加载脚本的4种方法
2009/05/05 Javascript
JS截取url中问号后面参数的值信息
2014/04/29 Javascript
jquery append 动态添加的元素事件on 不起作用的解决方案
2015/07/30 Javascript
使用jQuery UI库开发Web界面的简单入门指引
2016/04/22 Javascript
轮播的简单实现方法
2016/07/28 Javascript
对js eval()函数的一些见解
2016/08/15 Javascript
jquery实现图片列表鼠标移入微动
2016/12/01 Javascript
vue.js  父向子组件传参的实例代码
2017/10/29 Javascript
React Native中Mobx的使用方法详解
2018/12/04 Javascript
javascript实现前端分页效果
2020/06/24 Javascript
Threejs实现滴滴官网首页地球动画功能
2020/07/13 Javascript
解决vue cli4升级sass-loader(v8)后报错问题
2020/07/30 Javascript
对python中的logger模块全面讲解
2018/04/28 Python
解决django-xadmin列表页filter关联对象搜索问题
2019/11/15 Python
python与mysql数据库交互的实现
2020/01/06 Python
关于matplotlib-legend 位置属性 loc 使用说明
2020/05/16 Python
Pytorch实现将模型的所有参数的梯度清0
2020/06/24 Python
css3隔行变换色实现示例
2014/02/19 HTML / CSS
在线购买澳大利亚设计师手拿包和奢华晚装手袋:Olga Berg
2019/03/20 全球购物
bonprix匈牙利:女士、男士和儿童服装
2019/07/19 全球购物
Java面试题及答案
2012/09/08 面试题
现在输入n个数字,以逗号,分开;然后可选择升或者降序排序;按提交键就在另一页面显示按什么排序,结果为,提供reset
2012/11/09 面试题
高一地理教学反思
2014/01/18 职场文书
小学生打架检讨书
2014/01/26 职场文书
精神文明建设先进工作者事迹材料
2014/05/02 职场文书
井冈山红色之旅感想
2014/10/07 职场文书
2014年资料员工作总结
2014/11/18 职场文书
小学教学工作总结2015
2015/05/13 职场文书
2015年毕业实习工作总结
2015/05/29 职场文书
2019银行竞聘书
2019/06/21 职场文书
分享一个vue实现的记事本功能案例
2022/04/11 Vue.js
Python+Selenium实现抖音、快手、B站、小红书、微视、百度好看视频、西瓜视频、微信视频号、搜狐视频、一点号、大风号、趣头条等短视频自动发布
2022/04/13 Python