学会迭代器设计模式,帮你大幅提升python性能


Posted in Python onJanuary 03, 2021

大家好,我们的git专题已经更新结束了,所以开始继续给大家写一点设计模式的内容。

今天给大家介绍的设计模式非常简单,叫做iterator,也就是迭代器模式。迭代器是Python语言当中一个非常重要的内容,借助迭代器我们可以很方便地实现很多复杂的功能。在深度学习当中,数据的获取往往也是通过迭代器实现的。因此这部分的内容非常重要,推荐大家一定要掌握。

简单案例

在开始介绍设计模式之前,我们先来看一个简单的需求。假设现在我们需要根据传入的变量获取每周的前几天,比如说我们传入3返回的就是[Mon, Tue, Wed],我们传入5返回[Mon, Tue, Wed, Thu, Fri]。这个需求大家应该都能理解,非常非常简单。

如果用一个函数来实现的话,就是这样:

def return_days(n):
    week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
    return week[:n]

你看三行代码就实现了,在这个问题场景当中这样写当然是没有问题。但假如我们把题目稍微变一变,这里的week不是一个固定的数据,而是从上游或者是某个文件当中读取的。这里的n也是一个很大的数,我们把这个函数改写成这样:

def get_data(n):
    data = []
    for i in range(n):
        data.append(get_from_upstream())
    return data

我们假设get_from_upstream这个函数当中实现了获取数据的具体逻辑,那么上面这一段函数有一个什么问题?

有些同学会说这没有问题啊,因为像是其他语言实现数据获取的时候也都是这么干的。的确,像是Java等语言可能都是这么干的。但是其他语言这么干没错,不代表Python这么干也没错。因为我们没有把Python的能力发挥到最大。

这里有两个问题,第一个问题是延迟,因为前面说了,n是一个很大的数。我们从上游获取数据,无论是通过网络还是文件读取,本质上都是IO操作,IO操作的延迟是非常大的。那么我们把这n条数据全部搜集完可能需要很长的时间,导致下游的漫长等待。第二个问题就是内存,因为我们存储了这n条数据一起返回的,如果n很大,对于内存的开销压力也很大,如果机器内存不够很有可能导致崩溃。

那怎么解决呢?

其实解决的方法很简单,如果对迭代器熟悉的话,会发现迭代器针对的恰恰是这两个问题。我们把上面的逻辑改写成迭代器实现即可,这也就是iterator模式。

iterator模式

iterator模式严格说起来其实只是迭代器的一种应用,它非常巧妙地将迭代器与匿名函数结合在一起,里面也没有太多的门道可以说,我们把刚才的代码改写一下,细节都在代码当中。

def get_data(n):
    for i in range(n):
  yield get_from_upstream()


data_10 = lambda: get_data(10)
data_100 = lambda: get_data(100)

# use
for d in data_10:
    print(d)

很简单吧,但可能你要问了,我们既然写出了get_data这个迭代器,那么我们使用的时候直接for d in get_data(10)这样用不就好了,为什么中间要用匿名函数包一层呢?

道理也很简单,如果这个数据是我们自己使用,当然是没必要中间包一层的。但如果我们是传给下游使用的话,对于下游来说它肯定是不希望考虑上游太多的细节的,越简单越好。所以我们直接丢一个包装好的迭代器过去,下游直接call即可。否则的话,下游还需要感知get_data这个函数传入的参数,显然是不够合理的。

以上就是学会迭代器设计模式,帮你大幅提升python性能的详细内容,更多关于python 迭代器设计模式的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中的多重继承实例讲解
Sep 28 Python
Eclipse中Python开发环境搭建简单教程
Mar 23 Python
Python创建xml文件示例
Mar 22 Python
Python列表list操作符实例分析【标准类型操作符、切片、连接字符、列表解析、重复操作等】
Jul 24 Python
python利用OpenCV2实现人脸检测
Apr 16 Python
tensorflow训练中出现nan问题的解决
Feb 10 Python
Python实现的求解最大公约数算法示例
May 03 Python
python hbase读取数据发送kafka的方法
Dec 27 Python
Python实现微信翻译机器人的方法
Aug 13 Python
Python中输入和输出(打印)数据实例方法
Oct 13 Python
python实现word文档批量转成自定义格式的excel文档的思路及实例代码
Feb 21 Python
python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解
Feb 25 Python
Python编写万花尺图案实例
Jan 03 #Python
Python 实现一个简单的web服务器
Jan 03 #Python
关于Python错误重试方法总结
Jan 03 #Python
详解python中的异常和文件读写
Jan 03 #Python
python绘制雷达图实例讲解
Jan 03 #Python
python 使用xlsxwriter循环向excel中插入数据和图片的操作
Jan 01 #Python
python安装mysql的依赖包mysql-python操作
Jan 01 #Python
You might like
php 实现进制转换(二进制、八进制、十六进制)互相转换实现代码
2010/10/22 PHP
在PHP站点的页面上添加Facebook评论插件的实例教程
2016/01/08 PHP
PHP编写文件多服务器同步程序
2016/07/02 PHP
php mysql操作mysql_connect连接数据库实例详解
2016/12/26 PHP
BOOM vs RR BO5 第一场 2.14
2021/03/10 DOTA
javascript 节点遍历函数
2010/03/28 Javascript
利用try-catch判断变量是已声明未声明还是未赋值
2014/03/12 Javascript
js和jquery中循环的退出和继续下一个循环
2014/09/03 Javascript
使用JQuery库提供的扩展功能实现自定义方法
2014/09/09 Javascript
微信企业号开发之微信考勤Cookies的使用
2015/09/11 Javascript
Vue.js 父子组件通讯开发实例
2016/09/06 Javascript
vue仿淘宝订单状态的tab切换效果
2020/06/23 Javascript
快速解决vue-cli不能初始化webpack模板的问题
2018/03/20 Javascript
Vue常见面试题整理【值得收藏】
2018/09/20 Javascript
微信小程序外卖选购页实现切换分类与数量加减功能案例
2019/01/15 Javascript
微信小程序后端(java)开发流程的详细步骤
2019/11/13 Javascript
vue.js实现h5机器人聊天(测试版)
2020/07/16 Javascript
VSCode插件安装完成后的配置(常用配置)
2020/08/24 Javascript
微信小程序获取当前时间及星期几的实例代码
2020/09/20 Javascript
python实现随机密码字典生成器示例
2014/04/09 Python
Python Queue模块详解
2014/11/30 Python
探秘TensorFlow 和 NumPy 的 Broadcasting 机制
2020/03/13 Python
python报错: 'list' object has no attribute 'shape'的解决
2020/07/15 Python
python中scrapy处理项目数据的实例分析
2020/11/22 Python
python中的对数log函数表示及用法
2020/12/09 Python
北美个性化礼品商店:Things Remembered
2018/06/12 全球购物
俄罗斯儿童和青少年服装、鞋子及配件的在线商店:Orby
2020/02/20 全球购物
客户表扬信范文
2014/01/10 职场文书
迎新生标语大全
2014/10/06 职场文书
2015年综治宣传月活动总结
2015/03/25 职场文书
钱学森电影观后感
2015/06/04 职场文书
开业典礼致辞
2015/07/29 职场文书
英语教学课后反思
2016/02/15 职场文书
nginx共享内存的机制详解
2022/03/21 Servers
错误码NET::ERR_CERT_DATE_INVALID证书已过期解决方法?
2022/07/07 数码科技
python计算列表元素与乘积详情
2022/08/05 Python