pytorch方法测试详解——归一化(BatchNorm2d)


Posted in Python onJanuary 15, 2020

测试代码:

import torch

import torch.nn as nn

m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用
input = torch.randn(1,2,3,4)
output = m(input)

print("输入图片:")
print(input)
print("归一化权重:")
print(m.weight)
print("归一化的偏重:")
print(m.bias)

print("归一化的输出:")
print(output)
print("输出的尺度:")
print(output.size())

# i = torch.randn(1,1,2)
print("输入的第一个维度:")
print(input[0][0])
firstDimenMean = torch.Tensor.mean(input[0][0])
firstDimenVar= torch.Tensor.var(input[0][0],False) #Bessel's Correction贝塞尔校正不会被使用

print(m.eps)
print("输入的第一个维度平均值:")
print(firstDimenMean)
print("输入的第一个维度方差:")
print(firstDimenVar)

bacthnormone = \
  ((input[0][0][0][0] - firstDimenMean)/(torch.pow(firstDimenVar+m.eps,0.5) ))\
        * m.weight[0] + m.bias[0]
print(bacthnormone)

输出为:

输入图片:

tensor([[[[-2.4308, -1.0281, -1.1322, 0.9819],
     [-0.4069, 0.7973, 1.6296, 1.6797],
     [ 0.2802, -0.8285, 2.0101, 0.1286]],


     [[-0.5740, 0.1970, -0.7209, -0.7231],
     [-0.1489, 0.4993, 0.4159, 1.4238],
     [ 0.0334, -0.6333, 0.1308, -0.2180]]]])

归一化权重:

Parameter containing:
tensor([ 0.5653, 0.0322])

归一化的偏重:

Parameter containing:
tensor([ 0., 0.])

归一化的输出:

tensor([[[[-1.1237, -0.5106, -0.5561, 0.3679],
     [-0.2391, 0.2873, 0.6510, 0.6729],
     [ 0.0612, -0.4233, 0.8173, -0.0050]],


     [[-0.0293, 0.0120, -0.0372, -0.0373],
     [-0.0066, 0.0282, 0.0237, 0.0777],
     [ 0.0032, -0.0325, 0.0084, -0.0103]]]])

输出的尺度:

torch.Size([1, 2, 3, 4])

输入的第一个维度:

tensor([[-2.4308, -1.0281, -1.1322, 0.9819],
    [-0.4069, 0.7973, 1.6296, 1.6797],
    [ 0.2802, -0.8285, 2.0101, 0.1286]])
1e-05

输入的第一个维度平均值:

tensor(0.1401)

输入的第一个维度方差:

tensor(1.6730)
tensor(-1.1237)

结论:

输出的计算公式如下

pytorch方法测试详解——归一化(BatchNorm2d)

注意torch中方差实现的方法是没有使用Bessel's correction 贝塞尔校正的方差,所以在自己写的方差中不要用错了。(贝塞尔校正,即样本方差和总体方差之间区别和校正。)

以上这篇pytorch方法测试详解——归一化(BatchNorm2d)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用cx_freeze把python打包exe示例
Jan 24 Python
跟老齐学Python之从格式化表达式到方法
Sep 28 Python
Python IDE PyCharm的基本快捷键和配置简介
Nov 04 Python
python读取二进制mnist实例详解
May 31 Python
200 行python 代码实现 2048 游戏
Jan 12 Python
tensorflow识别自己手写数字
Mar 14 Python
详解python算法之冒泡排序
Mar 05 Python
Python 旋转打印各种矩形的方法
Jul 09 Python
pytorch 在sequential中使用view来reshape的例子
Aug 20 Python
PyCharm下载和安装详细步骤
Dec 17 Python
Python matplotlib修改默认字体的操作
Mar 05 Python
Python Flask上下文管理机制实例解析
Mar 16 Python
Python 中@property的用法详解
Jan 15 #Python
Python字符串中删除特定字符的方法
Jan 15 #Python
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
Jan 15 #Python
pytorch 图像中的数据预处理和批标准化实例
Jan 15 #Python
pytorch实现特殊的Module--Sqeuential三种写法
Jan 15 #Python
python实现删除列表中某个元素的3种方法
Jan 15 #Python
python opencv根据颜色进行目标检测的方法示例
Jan 15 #Python
You might like
一个php作的文本留言本的例子(一)
2006/10/09 PHP
phpmyadmin 访问被拒绝的真实原因
2009/06/15 PHP
php图片处理:加水印、缩略图的实现(自定义函数:watermark、thumbnail)
2010/12/02 PHP
PHP正则表达式之捕获组与非捕获组
2015/11/06 PHP
Yii2学习笔记之汉化yii设置表单的描述(属性标签attributeLabels)
2017/02/07 PHP
PHPstorm激活码2020年5月13日亲测有效
2020/09/17 PHP
File文件控件,选中文件(图片,flash,视频)即立即预览显示
2009/04/09 Javascript
文本框的字数限制功能jquery插件
2009/11/24 Javascript
Javascript new关键字的玄机 以及其它
2010/08/25 Javascript
jQuery Animation实现CSS3动画示例介绍
2013/08/14 Javascript
js获取对象为null的解决方法
2013/11/21 Javascript
原生javaScript做得动态表格(注释写的很清楚)
2013/12/29 Javascript
js正则匹配出所有图片及图片地址src的方法
2015/06/08 Javascript
JavaScript中获取纯正的undefined的方法
2016/03/06 Javascript
jQuery实现的自定义弹出层效果实例详解
2016/09/04 Javascript
基于js中this和event 的区别(详解)
2017/10/24 Javascript
JS控制鼠标拒绝点击某一按钮的实例
2017/12/29 Javascript
this在vue和小程序中的使用详解
2019/01/28 Javascript
Python获取Windows或Linux主机名称通用函数分享
2014/11/22 Python
Python的Django框架使用入门指引
2015/04/15 Python
Python函数中的函数(闭包)用法实例
2016/03/15 Python
Python日期时间对象转换为字符串的实例
2018/06/22 Python
Python中的集合介绍
2019/01/28 Python
tensorflow之tf.record实现存浮点数数组
2020/02/17 Python
python GUI库图形界面开发之PyQt5树形结构控件QTreeWidget详细使用方法与实例
2020/03/02 Python
python 实现数据库中数据添加、查询与更新的示例代码
2020/12/07 Python
使用HTML5捕捉音频与视频信息概述及实例
2018/08/22 HTML / CSS
阿里巴巴国际站:Alibaba.com
2016/07/21 全球购物
伦敦最受欢迎的蛋糕店:Konditor & Cook
2019/11/01 全球购物
新学期决心书
2014/03/11 职场文书
安全宣传标语
2014/06/10 职场文书
机电专业求职信
2014/06/14 职场文书
对外汉语教师推荐信
2015/03/27 职场文书
培训班开班主持词
2015/07/02 职场文书
2016年党建工作简报
2015/11/26 职场文书
讲解MySQL增删改操作
2022/05/06 MySQL