python生成器与迭代器详解


Posted in Python onJanuary 01, 2019

列表生成式:

例一:

a = [i+1 for i in range(10)]
print(a)

输出:

[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

例二:

L = [1, 2, 3, 4, 5]
print([i*i for i in L if i>3])

输出:

[16, 25]

例三:

L = [1, 2, 3, 4, 5]
I = [6, 7, 8, 9, 10]
print([i*a for i in L for a in I if i > 2 if a < 8])

输出:

[18, 21, 24, 28, 30, 35]

生成器:

通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。

所以,如果列表元素可以按照某种算法推算出来,这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator。

要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:

示例:

L = [1, 2, 3, 4, 5]
I = [6, 7, 8, 9, 10]
g = (i*a for i in L for a in I )
print(g)

输出:

<generator object <genexpr> at 0x00000276586C1F48>

创建L和g的区别仅在于最外层的[]和(),L是一个list,而g是一个generator。

我们可以直接打印出list的每一个元素,可以通过generator的next()方法

next(g)

例一:

L = [1, 2, 3, 4, 5]
I = [6, 7, 8, 9, 10]
g = (i*a for i in L for a in I )
print(next(g))
print(next(g))
print(next(g))

输出:

6
7
8

例二:

L = [1, 2, 3, 4, 5]
I = [6, 7, 8, 9, 10]
g = (i*a for i in L for a in I if i > 2 if a < 8)
print(next(g))
print(next(g))
print(next(g))

输出:

18
21
24

因为generator保存的是算法,每次调用next(g)就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。正确的方法是使用for循环,因为generator也是可迭代对象:

例三:

g = (i*i for i in range(0, 5))
for i in g:
    print(i)

当我们创建了一个generator后,基本上永远不会调用next()方法,而是通过for循环来迭代它。

generator非常强大。如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。

比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:

1, 1, 2, 3, 5, 8, 13, 21, 34, ...

斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        print b
        a, b = b, a + b
        n = n + 1

上面的函数可以输出斐波那契数列的前N个数:

>>> fib(6)
1
1
2
3
5
8

仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。
也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了:

def fib(max):
  n,a,b = 0,0,1

  while n < max:
    #print(b)
    yield b
    a,b = b,a+b

    n += 1

  return 'done'

这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:

def fib(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1
    return 'done'
print(fib(5))

输出:

<generator object fib at 0x0000023DC66C1F48>

调用方法:   ##但是用for循环调用generator时,\
            ##发现拿不到generator的return语句\
            ##的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:

for i in fib(5):
    print(i)

输出:

1
1
2
3
5

或者:

date = fib(5)
print(date.__next__())
print(date.__next__())
print(date.__next__())
print('test')
print(date.__next__())
print(date.__next__())

输出:

1
1
2
test
3
5

send方法有一个参数,该参数指定的是上一次被挂起的yield语句的返回值

还可通过yield实现在单线程的情况下实现并发运算的效果

#_*_coding:utf-8_*_
__author__ = 'Alex Li'

import time
def consumer(name):
  print("%s 准备吃包子啦!" %name)
  while True:
    baozi = yield

    print("包子[%s]来了,被[%s]吃了!" %(baozi,name))


def producer(name):
  c = consumer('A')
  c2 = consumer('B')
  c.__next__()
  c2.__next__()
  print("老子开始准备做包子啦!")
  for i in range(10):
    time.sleep(1)
    print("做了2个包子!")
    c.send(i)
    c2.send(i)

producer("alex")

通过生成器实现协程并行运算

迭代器:

可以直接作用于for循环的数据类型有以下几种:

一类是集合数据类型,如list、tuple、dict、set、str等;

一类是generator,包括生成器和带yield的generator function。

这些可以直接作用于for循环的对象统称为可迭代对象:Iterable。

可以使用isinstance()判断一个对象是否是Iterable对象:

>>> from collections import Iterable
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance('abc', Iterable)
True
>>> isinstance((x for x in range(10)), Iterable)
True
>>> isinstance(100, Iterable)
False

而生成器不但可以作用于for循环,还可以被next()函数不断调用并返回下一个值,直到最后抛出StopIteration错误表示无法继续返回下一个值了。

*可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。

可以使用isinstance()判断一个对象是否是Iterator对象:

>>> from collections import Iterator
>>> isinstance((x for x in range(10)), Iterator)
True
>>> isinstance([], Iterator)
False
>>> isinstance({}, Iterator)
False
>>> isinstance('abc', Iterator)
False

生成器都是Iterator对象,但list、dict、str虽然是Iterable,却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数:

>>> isinstance(iter([]), Iterator)
True
>>> isinstance(iter('abc'), Iterator)
True

为什么list、dict、str等数据类型不是Iterator?

这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。

Iterator甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。

小结:

凡是可作用于for循环的对象都是Iterable类型;

凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;

集合数据类型如list、dict、str等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。

Python3的for循环本质上就是通过不断调用next()函数实现的,例如:

for x in [1, 2, 3, 4, 5]:
    pass

实际上完全等价于:

# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break

Python 相关文章推荐
Python学习笔记之os模块使用总结
Nov 03 Python
Python之自动获取公网IP的实例讲解
Oct 01 Python
python 限制函数调用次数的实例讲解
Apr 21 Python
详解Python中pandas的安装操作说明(傻瓜版)
Apr 08 Python
python程序快速缩进多行代码方法总结
Jun 23 Python
Python PyCharm如何进行断点调试
Jul 05 Python
为什么从Python 3.6开始字典有序并效率更高
Jul 15 Python
python删除文件夹下相同文件和无法打开的图片
Jul 16 Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 Python
Python3.7 pyodbc完美配置访问access数据库
Oct 03 Python
解决json中ensure_ascii=False的问题
Apr 03 Python
PyCharm中配置PySide2的图文教程
Jun 18 Python
使用python3实现操作串口详解
Jan 01 #Python
python实现生成字符串大小写字母和数字的各种组合
Jan 01 #Python
python 内置模块详解
Jan 01 #Python
python配置grpc环境
Jan 01 #Python
python制作mysql数据迁移脚本
Jan 01 #Python
在python中将字符串转为json对象并取值的方法
Dec 31 #Python
对python中Json与object转化的方法详解
Dec 31 #Python
You might like
php daodb插入、更新与删除数据
2009/03/19 PHP
第4章 数据处理-php正则表达式-郑阿奇(续)
2011/07/04 PHP
php中autoload的用法总结
2013/11/08 PHP
详解WordPress开发中get_header()获取头部函数的用法
2016/01/08 PHP
使用PHP处理数据库数据如何将数据返回客户端并显示当前状态
2016/02/16 PHP
PHP面向对象程序设计之对象生成方法详解
2016/12/02 PHP
你的编程语言可以这样做吗?
2006/09/07 Javascript
Js之软键盘实现(js源码)
2007/01/30 Javascript
用 JSON 处理缓存
2007/04/27 Javascript
js生成动态表格并为每个单元格添加单击事件的方法
2014/04/14 Javascript
理解javascript中的原型和原型链
2015/07/30 Javascript
js+html5操作sqlite数据库的方法
2016/02/02 Javascript
浅谈jQuery中的$.extend方法来扩展JSON对象
2017/02/12 Javascript
JavaScript中三个等号和两个等号你了解多少
2017/07/04 Javascript
Vue精简版风格指南(推荐)
2018/01/30 Javascript
JS中移除非数字最多保留一位小数
2018/05/09 Javascript
微信小程序人脸识别功能代码实例
2019/05/07 Javascript
vue实现滑动到底部加载更多效果
2020/10/27 Javascript
Vue最新防抖方案(必看篇)
2019/10/30 Javascript
深入剖析Python的爬虫框架Scrapy的结构与运作流程
2016/01/20 Python
python 对key为时间的dict排序方法
2018/10/17 Python
Python使用Shelve保存对象方法总结
2019/01/28 Python
pycharm配置python 设置pip安装源为豆瓣源
2021/02/05 Python
CSS3制作酷炫的三维相册效果
2016/07/01 HTML / CSS
巴西葡萄酒销售网站:Wine.com.br
2017/11/07 全球购物
美国踏板车和轻便摩托车销售网站:Mega Motor Madness
2020/02/26 全球购物
linux面试题参考答案(6)
2016/06/23 面试题
中专毕业生自荐信
2013/11/16 职场文书
《愚公移山》教学反思
2014/02/20 职场文书
亮化工程实施方案
2014/03/17 职场文书
四风问题对照检查材料
2014/09/22 职场文书
六一儿童节标语
2014/10/08 职场文书
看看如何用Python绘制小米新版天价logo
2021/04/20 Python
Python机器学习之PCA降维算法详解
2021/05/19 Python
Python中seaborn库之countplot的数据可视化使用
2021/06/11 Python
SQLServer中exists和except用法介绍
2021/12/04 SQL Server