学会迭代器设计模式,帮你大幅提升python性能


Posted in Python onJanuary 03, 2021

大家好,我们的git专题已经更新结束了,所以开始继续给大家写一点设计模式的内容。

今天给大家介绍的设计模式非常简单,叫做iterator,也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容,借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中,数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要,推荐大家一定要掌握。

简单案例

在开始介绍设计模式之前,我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天,比如说我们传入3返回的就是[Mon, Tue, Wed],我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解,非常非常简单。

如果用一个函数来实现的话,就是这样:

def return_days(n):
    week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
    return week[:n]

你看三行代码就实现了,在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变,这里的week不是一个固定的数据,而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数,我们把这个函数改写成这样:

def get_data(n):
    data = []
    for i in range(n):
        data.append(get_from_upstream())
    return data

我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑,那么上面这一段函数有一个什么问题?

有些同学会说这没有问题啊,因为像是其他语言实现数据获取的时候也都是这么干的。的确,像是Java等语言可能都是这么干的。但是其他语言这么干没错,不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。

这里有两个问题,第一个问题是延迟,因为前面说了,n是一个很大的数。我们从上游获取数据,无论是通过网络还是文件读取,本质上都是IO操作,IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间,导致下游的漫长等待。第二个问题就是内存,因为我们存储了这n条数据一起返回的,如果n很大,对于内存的开销压力也很大,如果机器内存不够很有可能导致崩溃。

那怎么解决呢?

其实解决的方法很简单,如果对迭代器熟悉的话,会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可,这也就是iterator模式。

iterator模式

iterator模式严格说起来其实只是迭代器的一种应用,它非常巧妙地将迭代器与匿名函数结合在一起,里面也没有太多的门道可以说,我们把刚才的代码改写一下,细节都在代码当中。

def get_data(n):
    for i in range(n):
  yield get_from_upstream()


data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)

# use
for d in data_10:
    print(d)

很简单吧,但可能你要问了,我们既然写出了get_data这个迭代器,那么我们使用的时候直接for d in get_data(10)这样用不就好了,为什么中间要用匿名函数包一层呢?

道理也很简单,如果这个数据是我们自己使用,当然是没必要中间包一层的。但如果我们是传给下游使用的话,对于下游来说它肯定是不希望考虑上游太多的细节的,越简单越好。所以我们直接丢一个包装好的迭代器过去,下游直接call即可。否则的话,下游还需要感知get_data这个函数传入的参数,显然是不够合理的。

以上就是学会迭代器设计模式,帮你大幅提升python性能的详细内容,更多关于python 迭代器设计模式的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python求素数示例分享
Feb 16 Python
用Python进行基础的函数式编程的教程
Mar 31 Python
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
Sep 13 Python
python连接mongodb密码认证实例
Oct 16 Python
django query模块
Apr 20 Python
简单了解django缓存方式及配置
Jul 19 Python
PyCharm更改字体和界面样式的方法步骤
Sep 27 Python
Python打包工具PyInstaller的安装与pycharm配置支持PyInstaller详细方法
Feb 27 Python
pycharm 代码自动补全的实现方法(图文)
Sep 18 Python
Django admin组件的使用
Oct 24 Python
matplotlib 使用 plt.savefig() 输出图片去除旁边的空白区域
Jan 05 Python
Python如何利用正则表达式爬取网页信息及图片
Apr 17 Python
Python编写万花尺图案实例
Jan 03 #Python
Python 实现一个简单的web服务器
Jan 03 #Python
关于Python错误重试方法总结
Jan 03 #Python
详解python中的异常和文件读写
Jan 03 #Python
python绘制雷达图实例讲解
Jan 03 #Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 #Python
python安装mysql的依赖包mysql-python操作
Jan 01 #Python
You might like
PHP求小于1000的所有水仙花数的代码
2012/01/10 PHP
ThinkPHP分页实例
2014/10/15 PHP
php中instanceof 与 is_a()区别分析
2015/03/03 PHP
php求数组全排列,元素所有组合的方法总结
2017/03/14 PHP
php 替换文章中的图片路径,下载图片到本地服务器的方法
2018/02/06 PHP
Javascript & DHTML 实例编程(教程)基础知识
2007/06/02 Javascript
IE6/7/8中Option元素未设value时Select将获取空字符串
2011/04/07 Javascript
input 输入框获得/失去焦点时隐藏/显示文字(jquery版)
2013/04/02 Javascript
JS如何将UTC格式时间转本地格式
2013/09/04 Javascript
jQuery实现的感应鼠标悬停图片色彩渐显效果
2015/03/03 Javascript
javascript实现继承的简单实例
2015/07/26 Javascript
Javascript实现可旋转的圆圈实例代码
2015/08/04 Javascript
jQuery实现动态添加和删除一个div
2015/08/12 Javascript
深入php面向对象、模式与实践
2016/02/16 Javascript
jquery自定义右键菜单、全选、不连续选择
2016/03/01 Javascript
Bootstrap风格的WPF样式
2016/12/07 Javascript
ES6 fetch函数与后台交互实现
2018/11/14 Javascript
JS使用Prim算法和Kruskal算法实现最小生成树
2019/01/17 Javascript
15分钟深入了解JS继承分类、原理与用法
2019/01/19 Javascript
tsconfig.json配置详解
2019/05/17 Javascript
Vue中的循环及修改差值表达式的方法
2019/08/29 Javascript
在Vue中使用antv的示例代码
2020/06/29 Javascript
js+css实现扇形导航效果
2020/08/18 Javascript
[03:10]超级美酒第四天 fy拉比克秀 大合集
2018/06/05 DOTA
Python socket编程实例详解
2015/05/27 Python
Python快速从注释生成文档的方法
2016/12/26 Python
浅谈Scrapy网络爬虫框架的工作原理和数据采集
2019/02/07 Python
Python中函数的基本定义与调用及内置函数详解
2019/05/13 Python
HTML5 drag和drop具体使用详解
2021/01/18 HTML / CSS
TecoBuy澳大利亚:在线电子和小工具商店
2020/06/25 全球购物
门卫工作岗位职责
2013/12/17 职场文书
2014年综治维稳工作总结
2014/11/17 职场文书
2016大学自主招生推荐信范文
2015/03/23 职场文书
2015年社区矫正工作总结
2015/04/21 职场文书
HTML中table表格拆分合并(colspan、rowspan)
2021/04/07 HTML / CSS
SQLServer权限之只开启创建表权限
2022/04/12 SQL Server