详细分析python3的reduce函数


Posted in Python onDecember 05, 2017

reduce() 函数在 python 2 是内置函数, 从python 3 开始移到了 functools 模块。

官方文档是这样介绍的

reduce(...)
reduce(function, sequence[, initial]) -> value

Apply a function of two arguments cumulatively to the items of a sequence,
from left to right, so as to reduce the sequence to a single value.
For example, reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) calculates
((((1+2)+3)+4)+5). If initial is present, it is placed before the items
of the sequence in the calculation, and serves as a default when the
sequence is empty.

从左到右对一个序列的项累计地应用有两个参数的函数,以此合并序列到一个单一值。

例如,reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) 计算的就是((((1+2)+3)+4)+5)。

如果提供了 initial 参数,计算时它将被放在序列的所有项前面,如果序列是空的,它也就是计算的默认结果值了

嗯, 这个文档其实不好理解。看了还是不懂。 序列 其实就是python中 tuple list dictionary string 以及其他可迭代物,别的编程语言可能有数组。

reduce 有 三个参数

function 有两个参数的函数, 必需参数
sequence tuple ,list ,dictionary, string等可迭代物,必需参数
initial 初始值, 可选参数

reduce的工作过程是 :在迭代sequence(tuple ,list ,dictionary, string等可迭代物)的过程中,首先把 前两个元素传给 函数参数,函数加工后,然后把得到的结果和第三个元素作为两个参数传给函数参数, 函数加工后得到的结果又和第四个元素作为两个参数传给函数参数,依次类推。 如果传入了 initial 值, 那么首先传的就不是 sequence 的第一个和第二个元素,而是 initial值和 第一个元素。经过这样的累计计算之后合并序列到一个单一返回值

reduce 代码举例,使用REPL演示

>>> def add(x, y):
...  return x+y
...
>>> from functools import reduce
>>> reduce(add, [1,2,3,4])
>>>

上面这段 reduce 代码,其实就相当于 1 + 2 + 3 + 4 = 10, 如果把加号改成乘号, 就成了阶乘了
当然 仅仅是求和的话还有更简单的方法,如下

>>> sum([1,2,3,4])
10
>>>

很多教程只讲了一个加法求和,太简单了,对新手加深理解还不够。下面讲点更深入的例子

还可以把一个整数列表拼成整数,如下

>>> from functools import reduce
>>> reduce(lambda x, y: x * 10 + y, [1 , 2, 3, 4, 5])
12345
>>>

对一个复杂的sequence使用reduce ,看下面代码,更多的代码不再使用REPL, 使用编辑器编写

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105},
    {'name':'Dennis Ritchie', 'age':76},
    {'name':'John von Neumann', 'age':114},
    {'name':'Guido van Rossum', 'age':61})
def reducer(accumulator , value):
 sum = accumulator['age'] + value['age']
 return sum
total_age = reduce(reducer, scientists)
print(total_age)

这段代码会出错,看下图的执行过程

详细分析python3的reduce函数

所以代码需要修改

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
    {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
    {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
    {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
def reducer(accumulator , value):
 sum = accumulator + value['age']
 return sum
total_age = reduce(reducer, scientists, 0)
print(total_age)

7, 9 行 红色部分就是修改 部分。 通过 help(reduce) 查看 文档,reduce 有三个参数, 第三个参数是初始值的意思,是可有可无的参数。

修改之后就不出错了,流程如下

详细分析python3的reduce函数

这个仍然也可以用 sum 来更简单的完成

sum([x['age'] for x in scientists ])

做点更高级的事情,按性别分组

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
    {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
    {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
    {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
def group_by_gender(accumulator , value):
 accumulator[value['gender']].append(value['name'])
 return accumulator
grouped = reduce(group_by_gender, scientists, {'male':[], 'female':[]})
print(grouped)

输出

{'male': ['Alan Turing', 'Dennis Ritchie'], 'female': ['Ada Lovelace', 'Frances E. Allen']}

可以看到,在 reduce 的初始值参数传入了一个dictionary,, 但是这样写 key 可能出错,还能再进一步自动化,运行时动态插入key

修改代码如下

grouped = reduce(group_by_gender, scientists, collections.defaultdict(list))

当然 先要 import collections 模块

这当然也能用 pythonic way 去解决

import itertools
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
    {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
    {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
    {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
grouped = {item[0]:list(item[1])
   for item in itertools.groupby(scientists, lambda x: x['gender'])}
print(grouped)

再来一个更晦涩难懂的玩法。工作中要与其他人协作的话,不建议这么用,与上面的例子做同样的事,看不懂无所谓。

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
    {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
    {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
    {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
grouped = reduce(lambda acc, val: {**acc, **{val['gender']: acc[val['gender']]+ [val['name']]}}, scientists, {'male':[], 'female':[]})
print(grouped)

**acc, **{val['gneder']... 这里使用了 dictionary merge syntax , 从 python 3.5 开始引入, 详情请看 PEP 448 - Additional Unpacking Generalizations 怎么使用可以参考这个 python - How to merge two dictionaries in a single expression? - Stack Overflow

python 社区推荐写可读性好的代码,有更好的选择时不建议用reduce,所以 python 2 中内置的reduce 函数 移到了 functools模块中

Python 相关文章推荐
详解Python迭代和迭代器
Mar 28 Python
开源Web应用框架Django图文教程
Mar 09 Python
python笔记:mysql、redis操作方法
Jun 28 Python
Python 用Redis简单实现分布式爬虫的方法
Nov 23 Python
Python中的defaultdict与__missing__()使用介绍
Feb 03 Python
Django中Forms的使用代码解析
Feb 10 Python
Tornado实现多进程/多线程的HTTP服务详解
Jul 25 Python
tensorflow指定GPU与动态分配GPU memory设置
Feb 03 Python
python定义类的简单用法
Jul 24 Python
Python如何定义接口和抽象类
Jul 28 Python
Python数据可视化之Seaborn的安装及使用
Apr 19 Python
Python数据可视化正态分布简单分析及实现代码
Dec 04 #Python
Python编程实现二分法和牛顿迭代法求平方根代码
Dec 04 #Python
Python编程给numpy矩阵添加一列方法示例
Dec 04 #Python
Python实现返回数组中第i小元素的方法示例
Dec 04 #Python
Python实现基本数据结构中队列的操作方法示例
Dec 04 #Python
Python numpy生成矩阵、串联矩阵代码分享
Dec 04 #Python
Python内置函数—vars的具体使用方法
Dec 04 #Python
You might like
如何隐藏你的.php文件
2007/01/04 PHP
PHP教程 预定义变量
2009/10/23 PHP
ThinkPHP实现一键清除缓存方法
2014/06/26 PHP
typecho插件编写教程(四):插件挂载
2015/05/28 PHP
PHP截取发动短信内容的方法
2017/07/04 PHP
HTML5如何适配 iPhone IOS 底部黑条
2021/03/09 HTML / CSS
使用JQuery和s3captche实现一个水果名字的验证
2009/08/14 Javascript
写给想学习Javascript的朋友一点学习经验小结
2010/11/23 Javascript
JavaScript父子窗体间的调用方法
2015/03/31 Javascript
详解JavaScript中的blink()方法的使用
2015/06/08 Javascript
全面解析Bootstrap布局组件应用
2016/02/22 Javascript
深入浅析jQuery对象$.html
2016/08/22 Javascript
bootstrap弹出层的多种触发方式
2017/05/10 Javascript
ES6入门教程之Class和Module详解
2017/05/17 Javascript
angular.js中解决跨域问题的三种方式
2017/07/12 Javascript
JavaScript继承与多继承实例分析
2018/05/26 Javascript
这应该是最详细的响应式系统讲解了
2019/07/22 Javascript
vue 开发企业微信整合案例分析
2019/12/02 Javascript
[00:12]DAC2018 no[o]ne亮相SOLO赛 他是否如他的id一样无人可挡?
2018/04/06 DOTA
Python聚类算法之凝聚层次聚类实例分析
2015/11/20 Python
python简单实现获取当前时间
2016/08/27 Python
Python中标准模块importlib详解
2017/04/16 Python
Pycharm远程调试openstack的方法
2017/11/21 Python
对python添加模块路径的三种方法总结
2018/10/16 Python
numpy.linspace函数具体使用详解
2019/05/27 Python
Python实现加密接口测试方法步骤详解
2020/06/05 Python
使用Python文件读写,自定义分隔符(custom delimiter)
2020/07/05 Python
selenium携带cookies模拟登陆CSDN的实现
2021/01/19 Python
CSS3 transforms应用于背景图像的解决方法
2019/04/16 HTML / CSS
早餐连锁店计划书
2014/01/08 职场文书
教师节促销活动方案
2014/02/14 职场文书
2014新课程改革心得体会
2014/03/10 职场文书
乡镇党员干部群众路线对照检查材料思想汇报
2014/09/28 职场文书
2015年元宵节活动总结
2015/02/06 职场文书
餐馆开业致辞
2015/08/01 职场文书
Python爬虫之爬取某文库文档数据
2021/04/21 Python