学会迭代器设计模式,帮你大幅提升python性能


Posted in Python onJanuary 03, 2021

大家好,我们的git专题已经更新结束了,所以开始继续给大家写一点设计模式的内容。

今天给大家介绍的设计模式非常简单,叫做iterator,也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容,借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中,数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要,推荐大家一定要掌握。

简单案例

在开始介绍设计模式之前,我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天,比如说我们传入3返回的就是[Mon, Tue, Wed],我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解,非常非常简单。

如果用一个函数来实现的话,就是这样:

def return_days(n):
    week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
    return week[:n]

你看三行代码就实现了,在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变,这里的week不是一个固定的数据,而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数,我们把这个函数改写成这样:

def get_data(n):
    data = []
    for i in range(n):
        data.append(get_from_upstream())
    return data

我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑,那么上面这一段函数有一个什么问题?

有些同学会说这没有问题啊,因为像是其他语言实现数据获取的时候也都是这么干的。的确,像是Java等语言可能都是这么干的。但是其他语言这么干没错,不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。

这里有两个问题,第一个问题是延迟,因为前面说了,n是一个很大的数。我们从上游获取数据,无论是通过网络还是文件读取,本质上都是IO操作,IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间,导致下游的漫长等待。第二个问题就是内存,因为我们存储了这n条数据一起返回的,如果n很大,对于内存的开销压力也很大,如果机器内存不够很有可能导致崩溃。

那怎么解决呢?

其实解决的方法很简单,如果对迭代器熟悉的话,会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可,这也就是iterator模式。

iterator模式

iterator模式严格说起来其实只是迭代器的一种应用,它非常巧妙地将迭代器与匿名函数结合在一起,里面也没有太多的门道可以说,我们把刚才的代码改写一下,细节都在代码当中。

def get_data(n):
    for i in range(n):
  yield get_from_upstream()


data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)

# use
for d in data_10:
    print(d)

很简单吧,但可能你要问了,我们既然写出了get_data这个迭代器,那么我们使用的时候直接for d in get_data(10)这样用不就好了,为什么中间要用匿名函数包一层呢?

道理也很简单,如果这个数据是我们自己使用,当然是没必要中间包一层的。但如果我们是传给下游使用的话,对于下游来说它肯定是不希望考虑上游太多的细节的,越简单越好。所以我们直接丢一个包装好的迭代器过去,下游直接call即可。否则的话,下游还需要感知get_data这个函数传入的参数,显然是不够合理的。

以上就是学会迭代器设计模式,帮你大幅提升python性能的详细内容,更多关于python 迭代器设计模式的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
TensorFlow神经网络优化策略学习
Mar 09 Python
python使用tornado实现登录和登出
Jul 28 Python
python 多线程将大文件分开下载后在合并的实例
Nov 09 Python
python实现指定字符串补全空格、前面填充0的方法
Nov 16 Python
在python中,使用scatter绘制散点图的实例
Jul 03 Python
Kears+Opencv实现简单人脸识别
Aug 28 Python
用python求一重积分和二重积分的例子
Dec 06 Python
python爬虫添加请求头代码实例
Dec 28 Python
Python 给下载文件显示进度条和下载时间的实现
Apr 02 Python
python读取yaml文件后修改写入本地实例
Apr 27 Python
Python threading模块condition原理及运行流程详解
Oct 05 Python
Python3中PyQt5简单实现文件打开及保存
Jun 10 Python
Python编写万花尺图案实例
Jan 03 #Python
Python 实现一个简单的web服务器
Jan 03 #Python
关于Python错误重试方法总结
Jan 03 #Python
详解python中的异常和文件读写
Jan 03 #Python
python绘制雷达图实例讲解
Jan 03 #Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 #Python
python安装mysql的依赖包mysql-python操作
Jan 01 #Python
You might like
PHP中的string类型使用说明
2010/07/27 PHP
php MessagePack介绍
2013/10/06 PHP
PHP使用array_merge重新排列数组下标的方法
2015/07/22 PHP
详解PHP5.6.30与Apache2.4.x配置
2017/06/02 PHP
PHP实现登录验证码校验功能
2018/05/17 PHP
向fckeditor编辑器插入指定代码的方法
2007/05/25 Javascript
JS构建页面的DOM节点结构的实现代码
2011/12/09 Javascript
Windows系统下使用Sublime搭建nodejs环境
2015/04/13 NodeJs
JavaScript通过使用onerror设置默认图像显示代替alt
2016/03/01 Javascript
轻松掌握JavaScript代理模式
2016/08/26 Javascript
easyui datagrid 大数据加载效率慢,优化解决方法(推荐)
2016/11/09 Javascript
Node.js学习入门
2017/01/03 Javascript
jQuery 开发之EasyUI 添加数据的实例
2017/09/26 jQuery
seaJs使用心得之exports与module.exports的区别实例分析
2017/10/13 Javascript
js实现图片推拉门效果代码实例
2019/05/18 Javascript
ant design vue导航菜单与路由配置操作
2020/10/28 Javascript
解决js中的setInterval清空定时器不管用问题
2020/11/17 Javascript
[54:02]2018DOTA2亚洲邀请赛 4.1 小组赛 B组 IG vs VGJ.T
2018/04/03 DOTA
Python open读写文件实现脚本
2008/09/06 Python
Python生成验证码实例
2014/08/21 Python
python操作ssh实现服务器日志下载的方法
2015/06/03 Python
Python基于Pymssql模块实现连接SQL Server数据库的方法详解
2017/07/20 Python
python重试装饰器的简单实现方法
2019/01/31 Python
在django view中给form传入参数的例子
2019/07/19 Python
对Django外键关系的描述
2019/07/26 Python
python中bs4.BeautifulSoup的基本用法
2019/07/27 Python
python Canny边缘检测算法的实现
2020/04/24 Python
python中format函数如何使用
2020/06/22 Python
Python 操作 MySQL数据库
2020/09/18 Python
htnl5利用svg页面高斯模糊的方法
2018/07/20 HTML / CSS
美国紧身牛仔裤品牌:NYDJ
2017/05/24 全球购物
27个经典Linux面试题及答案,你知道几个?
2013/01/10 面试题
农业资源与环境专业自荐信范文
2013/12/30 职场文书
幼教简历自我评价
2014/01/28 职场文书
蛋糕店创业计划书范文
2014/09/21 职场文书
司法廉洁教育心得体会
2016/01/20 职场文书