学会迭代器设计模式,帮你大幅提升python性能


Posted in Python onJanuary 03, 2021

大家好,我们的git专题已经更新结束了,所以开始继续给大家写一点设计模式的内容。

今天给大家介绍的设计模式非常简单,叫做iterator,也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容,借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中,数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要,推荐大家一定要掌握。

简单案例

在开始介绍设计模式之前,我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天,比如说我们传入3返回的就是[Mon, Tue, Wed],我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解,非常非常简单。

如果用一个函数来实现的话,就是这样:

def return_days(n):
    week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
    return week[:n]

你看三行代码就实现了,在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变,这里的week不是一个固定的数据,而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数,我们把这个函数改写成这样:

def get_data(n):
    data = []
    for i in range(n):
        data.append(get_from_upstream())
    return data

我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑,那么上面这一段函数有一个什么问题?

有些同学会说这没有问题啊,因为像是其他语言实现数据获取的时候也都是这么干的。的确,像是Java等语言可能都是这么干的。但是其他语言这么干没错,不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。

这里有两个问题,第一个问题是延迟,因为前面说了,n是一个很大的数。我们从上游获取数据,无论是通过网络还是文件读取,本质上都是IO操作,IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间,导致下游的漫长等待。第二个问题就是内存,因为我们存储了这n条数据一起返回的,如果n很大,对于内存的开销压力也很大,如果机器内存不够很有可能导致崩溃。

那怎么解决呢?

其实解决的方法很简单,如果对迭代器熟悉的话,会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可,这也就是iterator模式。

iterator模式

iterator模式严格说起来其实只是迭代器的一种应用,它非常巧妙地将迭代器与匿名函数结合在一起,里面也没有太多的门道可以说,我们把刚才的代码改写一下,细节都在代码当中。

def get_data(n):
    for i in range(n):
  yield get_from_upstream()


data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)

# use
for d in data_10:
    print(d)

很简单吧,但可能你要问了,我们既然写出了get_data这个迭代器,那么我们使用的时候直接for d in get_data(10)这样用不就好了,为什么中间要用匿名函数包一层呢?

道理也很简单,如果这个数据是我们自己使用,当然是没必要中间包一层的。但如果我们是传给下游使用的话,对于下游来说它肯定是不希望考虑上游太多的细节的,越简单越好。所以我们直接丢一个包装好的迭代器过去,下游直接call即可。否则的话,下游还需要感知get_data这个函数传入的参数,显然是不够合理的。

以上就是学会迭代器设计模式,帮你大幅提升python性能的详细内容,更多关于python 迭代器设计模式的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
一个超级简单的python web程序
Sep 11 Python
Python自动调用IE打开某个网站的方法
Jun 03 Python
利用python实现命令行有道词典的方法示例
Jan 31 Python
Python中的异常处理try/except/finally/raise用法分析
Feb 28 Python
python打开windows应用程序的实例
Jun 28 Python
解决yum对python依赖版本问题
Jul 05 Python
python3 深浅copy对比详解
Aug 12 Python
linux 下python多线程递归复制文件夹及文件夹中的文件
Jan 02 Python
基于python实现获取网页图片过程解析
May 11 Python
python ETL工具 pyetl
Jun 07 Python
python 实现两个npy档案合并
Jul 01 Python
Python数据可视化之基于pyecharts实现的地理图表的绘制
Jun 10 Python
Python编写万花尺图案实例
Jan 03 #Python
Python 实现一个简单的web服务器
Jan 03 #Python
关于Python错误重试方法总结
Jan 03 #Python
详解python中的异常和文件读写
Jan 03 #Python
python绘制雷达图实例讲解
Jan 03 #Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 #Python
python安装mysql的依赖包mysql-python操作
Jan 01 #Python
You might like
php 获取客户端的真实ip
2009/11/30 PHP
thinkphp特殊标签用法概述
2014/11/24 PHP
浅谈php7的重大新特性
2015/10/23 PHP
Ubuntu中支持PHP5与PHP7双版本的简单实现
2018/08/19 PHP
再谈ie和firefox下的document.all属性
2009/10/21 Javascript
js获取dom的高度和宽度(可见区域及部分等等)
2013/06/13 Javascript
angular双向绑定模拟探索
2016/12/26 Javascript
jQuery插件HighCharts绘制2D金字塔图效果示例【附demo源码下载】
2017/03/09 Javascript
JS中Safari浏览器中的Date
2017/07/17 Javascript
vue项目中使用tinymce编辑器的步骤详解
2018/09/11 Javascript
微信小程序BindTap快速连续点击目标页面跳转多次问题处理
2019/04/08 Javascript
Vue动态组件和异步组件原理详解
2019/05/06 Javascript
jQuery zTree树插件的使用教程
2019/08/16 jQuery
[00:43]FTP典藏礼包 DOTA2三大英雄霸气新套装
2014/03/21 DOTA
详解将Django部署到Centos7全攻略
2018/09/26 Python
详解Python传入参数的几种方法
2019/05/16 Python
Python 调用 Windows API COM 新法
2019/08/22 Python
Pytorch.nn.conv2d 过程验证方式(单,多通道卷积过程)
2020/01/03 Python
Python 实现使用空值进行赋值 None
2020/03/12 Python
Python Selenium截图功能实现代码
2020/04/26 Python
css3实现超立体3D图片侧翻倾斜效果
2014/04/16 HTML / CSS
实例教程 一款纯css3实现的数字统计游戏
2014/11/10 HTML / CSS
使用html5+css3来实现slider切换效果告别javascript+css
2013/01/08 HTML / CSS
手对手的教你用canvas画一个简单的海报的方法示例
2018/12/10 HTML / CSS
美国领先的医疗警报服务:Philips Lifeline
2018/03/12 全球购物
巴西独家产品和现场演示购物网站:Shoptime
2019/07/11 全球购物
ASOS西班牙官网:英国在线时尚和美容零售商
2020/01/10 全球购物
财务会计专业毕业生自荐信
2013/10/19 职场文书
幼师求职自荐信范文
2014/01/26 职场文书
护理专科学生自荐书
2014/07/05 职场文书
创先争优宣传标语
2014/10/08 职场文书
公司离职证明标准格式
2014/11/18 职场文书
世界文化遗产导游词
2015/02/13 职场文书
生活委员竞选稿
2015/11/21 职场文书
致创业您:正能量激励人心句子(48条)
2019/08/15 职场文书
Redis入门教程详解
2021/08/30 Redis