深入解析NumPy中的Broadcasting广播机制


Posted in Python onMay 30, 2021

前言

在吴恩达老师的深度学习专项课程中,老师有提到NumPy中的广播机制,同时那一周的测验也有涉及到广播机制的题目。那么,到底什么是NumPy中的广播机制?

官方文档

接下来到了看官方文档的时间。

Array Broadcasting in Numpy

广播机制概述

让我们探索numpy中一个更高级的概念,这个概念被称为广播。 广播展现了NumPy在算术运算期间是如何处理具有不同形状的数组的。 受到某些约束,较小的阵列将在较大的阵列上“广播”,以使它们具有相同形状。 广播提供了一种数组矢量化操作,从而使得循环在C而不是Python中发生。 它无需复制不必要的数据即可完成,并且通常算法的效率还挺高。 当然在某些情况下,广播并不是一个好办法,因为它会导致内存使用效率低,从而减慢计算速度。 本文通过示例,对广播进行了详尽的介绍。 它还提供何时使用广播的提示。

numpy操作通常是逐个元素完成的,这就需要两个数组具有完全相同的形状

Example 1

>>> from numpy import array
>>> a = array([1.0, 2.0, 3.0])
>>> b = array([2.0, 2.0, 2.0])
>>> a * b
array([ 2.,  4.,  6.])

当数组的形状满足某些条件时,numpy的广播规则将放宽这种数组限制。 将数组和标量值在一起运算时,会出现最简单的广播示例

Example 2

>>> from numpy import array
>>> a = array([1.0,2.0,3.0])
>>> b = 2.0
>>> a * b
array([ 2.,  4.,  6.])

尽管只有一个变量是数组,但是结果和之前的一个代码例子是一样的。 我们可以认为其中的标量在算术运算中被拓展成与数组a变量形状相同的数组。 例如下图中显示的中拓展的新元素只是原始标量的副本。这种拓展只是概念上的。 numpy的明智之处在于使用原始标量值而不必要创建副本,从而使广播操作尽可能地节省内存提高计算效率。 由于上面的代码例子中,乘法过程中标量移动的内存较少,所以在具有一百万个元素数组的Windows 2000上,广播机制与之前的两个数组相加相比大概快10%。

深入解析NumPy中的Broadcasting广播机制

在最简单的广播示例中,标量b被拉伸为与a相同形状的数组,使得这些形状适用于逐元素乘法。

下面的规则决定了两个具有兼容形状的数组是否可以在单个代码段中进行广播。

广播机制规则

广播规则

为了广播,操作中两个阵列的尾轴的大小必须相同,或者其中一个必须是一个。

问题来了,尾轴是什么?

为此我找到了python - numpy broadcasting - explanation of trailing axes - Stack Overflow这篇解答。

If you have two arrays with different dimensions number, say one 1x2x3 and other 2x3, then you compare only the trailing common dimensions, in this case 2x3. But if both your arrays are two-dimensional, then their corresponding sizes have to be either equal or one of them has to be 1.

In your case you have a 2x2 and 4x2 and 4 != 2 and neither 4 or 2 equals 1, so this doesn't work.

假设你有两个不同维度的数组。一个是1x2x3,另一个是2x3,那么只需要比较后面的公共尺寸,在这种情况下为2x3。 但是,**如果两个数组都是二维的,则它们的对应大小必须相等或其中之一必须为1 **。

在两个二维数组中2x2和4x2,4!= 2,并且4或2都不等于1,所以广播行不通的。

这个解释应该比较清楚了。

如果不满足此条件,则会引发异常,提示数组的形状不兼容。 广播操作创建的结果数组的大小是两个数组中每个维度的最大大小。 请注意,该规则并未说明需要具有相同维数的两个数组。 如果有一个256 x 256 x 3的RGB值数组,想要按不同的值缩放图像中的每种颜色,则可以将图像乘以具有3个值的一维数组。

 

Image (3d array) 256 x 256 x 3
Scale (1d array)     3
Result (3d array) 256 x 256 x 3

在下面的示例中,两个数组都具有长度为1的轴,这些轴在广播操作中被扩展为更大的大小。

 

A (4d array) 8 x 1 x 6 x 1
B (3d array)   7 x 1 x 5
Result (4d array) 8 x 7 x 6 x 5

下面,是几个代码例子和图形表示,有助于使广播规则直观明了。例3将一个一维数组添加到一个二维数组。

Example 3

>>> from numpy import array
>>> a = array([[ 0.0,  0.0,  0.0],
...            [10.0, 10.0, 10.0],
...            [20.0, 20.0, 20.0],
...            [30.0, 30.0, 30.0]])
>>> b = array([1.0, 2.0, 3.0])
>>> a + b
array([[  1.,   2.,   3.],
       [ 11.,  12.,  13.],
       [ 21.,  22.,  23.],
       [ 31.,  32.,  33.]])

如下图2所示,b将拓展维度大小和a一样。在图3中,当b的列维度大于a的时,由于形状不兼容而引发异常。

深入解析NumPy中的Broadcasting广播机制

如果一维数组元素的数量与二维数组列的数量匹配,则将二维数组乘以一维数组将导致广播。

当数组的尾部不相等时,广播将失败,因为无法将第一个数组的行中的值与第二个数组的元素对齐进行逐元素加法。

深入解析NumPy中的Broadcasting广播机制

广播提供了一种获取两个数组的外部乘积(或任何其他外部操作)的便捷方法。 下面的示例显示两个1维数组的外部加法运算,其结果与示例3相同。

Example 4

>>> from numpy import array, newaxis
>>> a = array([0.0, 10.0, 20.0, 30.0])
>>> b = array([1.0, 2.0, 3.0])
>>> a[:,newaxis] + b
array([[  1.,   2.,   3.],
       [ 11.,  12.,  13.],
       [ 21.,  22.,  23.],
       [ 31.,  32.,  33.]])

在这里,newaxis索引运算符将一个新轴插入,使其成为二维4x1数组。 图4说明了两个阵列的拉伸以产生所需的4x3输出阵列。

在这里例子里是b = array([1.0, 2.0, 3.0]),但是下图中是0,1,2,emmmm…尊重原文吧!

深入解析NumPy中的Broadcasting广播机制

在某些情况下,广播会拉伸两个阵列以形成一个比任何一个初始阵列都大的输出阵列。

总结

以上是对官方文档的翻译,总的来说广播机制主要是以下几点:

  • 效率较快,性能较好
  • 广播时,操作中两个数组的尾轴的大小必须相同,或者其中之一必须是1
  • 如果两个数组都是二维的,则它们的对应大小必须相等或其中之一必须为1

通过这篇文章,你是否了解了NumPy的广播机制呢?更多相关NumPy Broadcasting广播机制内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python encode和decode的妙用
Sep 02 Python
python网络编程学习笔记(二):socket建立网络客户端
Jun 09 Python
Python os.rename() 重命名目录和文件的示例
Oct 25 Python
Python使用pandas对数据进行差分运算的方法
Dec 22 Python
python调用staf自动化框架的方法
Dec 26 Python
Python3 使用cookiejar管理cookie的方法
Dec 28 Python
详解Python下载图片并保存本地的两种方式
May 15 Python
通过selenium抓取某东的TT购买记录并分析趋势过程解析
Aug 15 Python
python 内置函数汇总详解
Sep 16 Python
浅谈Python类中的self到底是干啥的
Nov 11 Python
全网首秀之Pycharm十大实用技巧(推荐)
Apr 27 Python
python实现Nao机器人的单目测距
Sep 04 Python
python必学知识之文件操作(建议收藏)
Python使用Kubernetes API访问集群
如何利用pygame实现打飞机小游戏
Python中requests做接口测试的方法
python关于集合的知识案例详解
May 30 #Python
教你漂亮打印Pandas DataFrames和Series
pytorch 实现多个Dataloader同时训练
You might like
PHP判断文件是否存在、是否可读、目录是否存在的代码
2012/10/03 PHP
smarty模板引擎之配置文件数据和保留数据
2015/03/30 PHP
javascript中的location用法简单介绍
2007/03/07 Javascript
js跨域和ajax 跨域问题的实现思路
2009/09/05 Javascript
new Date()问题在ie8下面的处理方法
2014/07/31 Javascript
jQuery动态效果显示人物结构关系图的方法
2015/05/07 Javascript
js实现带有介绍的Select列表菜单实例
2015/08/18 Javascript
Bootstrap媒体对象的实现
2016/05/01 Javascript
改变checkbox默认选中状态及取值的实现代码
2016/05/26 Javascript
利用原生js和jQuery实现单选框的勾选和取消操作的方法
2016/09/04 Javascript
JS中split()用法(将字符串按指定符号分割成数组)
2016/10/24 Javascript
JS 插件dropload下拉刷新、上拉加载使用小结
2017/04/13 Javascript
VUE页面中加载外部HTML的示例代码
2017/09/20 Javascript
了解JavaScript表单操作和表单域
2019/05/27 Javascript
vue实现路由懒加载及组件懒加载的方式
2019/06/11 Javascript
微信小程序前端自定义分享的实现方法
2019/06/13 Javascript
Python通过matplotlib绘制动画简单实例
2017/12/13 Python
Python+selenium实现截图图片并保存截取的图片
2018/01/05 Python
Python实现查找二叉搜索树第k大的节点功能示例
2019/01/24 Python
Python、 Pycharm、Django安装详细教程(图文)
2019/04/12 Python
使用python matplotlib 画图导入到word中如何保证分辨率
2020/04/16 Python
python如何写个俄罗斯方块
2020/11/06 Python
让你相见恨晚的十个Python骚操作
2020/11/18 Python
HTML5之WebGL 3D概述(上)—WebGL原生开发开启网页3D渲染新时代
2013/01/31 HTML / CSS
超30万乐谱下载:Musicnotes.com
2016/09/24 全球购物
全球度假村:Club Med
2017/11/27 全球购物
诺心蛋糕官网:LE CAKE
2018/08/25 全球购物
新加坡第一大健康与美容零售商:屈臣氏新加坡(Watsons Singapore)
2020/12/11 全球购物
放飞蜻蜓反思
2014/02/05 职场文书
俞敏洪励志演讲稿
2014/04/29 职场文书
小学清明节活动总结
2014/07/04 职场文书
党员民主生活会个人整改措施材料
2014/09/16 职场文书
2014房屋登记授权委托书
2014/10/13 职场文书
师德先进个人事迹材料
2014/12/19 职场文书
Python实现的扫码工具居然这么好用!
2021/06/07 Python
Android存储中最基本的文件存储方式
2022/04/30 Java/Android