pytorch方法测试详解——归一化(BatchNorm2d)


Posted in Python onJanuary 15, 2020

测试代码:

import torch

import torch.nn as nn

m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用
input = torch.randn(1,2,3,4)
output = m(input)

print("输入图片:")
print(input)
print("归一化权重:")
print(m.weight)
print("归一化的偏重:")
print(m.bias)

print("归一化的输出:")
print(output)
print("输出的尺度:")
print(output.size())

# i = torch.randn(1,1,2)
print("输入的第一个维度:")
print(input[0][0])
firstDimenMean = torch.Tensor.mean(input[0][0])
firstDimenVar= torch.Tensor.var(input[0][0],False) #Bessel's Correction贝塞尔校正不会被使用

print(m.eps)
print("输入的第一个维度平均值:")
print(firstDimenMean)
print("输入的第一个维度方差:")
print(firstDimenVar)

bacthnormone = \
  ((input[0][0][0][0] - firstDimenMean)/(torch.pow(firstDimenVar+m.eps,0.5) ))\
        * m.weight[0] + m.bias[0]
print(bacthnormone)

输出为:

输入图片:

tensor([[[[-2.4308, -1.0281, -1.1322, 0.9819],
     [-0.4069, 0.7973, 1.6296, 1.6797],
     [ 0.2802, -0.8285, 2.0101, 0.1286]],


     [[-0.5740, 0.1970, -0.7209, -0.7231],
     [-0.1489, 0.4993, 0.4159, 1.4238],
     [ 0.0334, -0.6333, 0.1308, -0.2180]]]])

归一化权重:

Parameter containing:
tensor([ 0.5653, 0.0322])

归一化的偏重:

Parameter containing:
tensor([ 0., 0.])

归一化的输出:

tensor([[[[-1.1237, -0.5106, -0.5561, 0.3679],
     [-0.2391, 0.2873, 0.6510, 0.6729],
     [ 0.0612, -0.4233, 0.8173, -0.0050]],


     [[-0.0293, 0.0120, -0.0372, -0.0373],
     [-0.0066, 0.0282, 0.0237, 0.0777],
     [ 0.0032, -0.0325, 0.0084, -0.0103]]]])

输出的尺度:

torch.Size([1, 2, 3, 4])

输入的第一个维度:

tensor([[-2.4308, -1.0281, -1.1322, 0.9819],
    [-0.4069, 0.7973, 1.6296, 1.6797],
    [ 0.2802, -0.8285, 2.0101, 0.1286]])
1e-05

输入的第一个维度平均值:

tensor(0.1401)

输入的第一个维度方差:

tensor(1.6730)
tensor(-1.1237)

结论:

输出的计算公式如下

pytorch方法测试详解——归一化(BatchNorm2d)

注意torch中方差实现的方法是没有使用Bessel's correction 贝塞尔校正的方差,所以在自己写的方差中不要用错了。(贝塞尔校正,即样本方差和总体方差之间区别和校正。)

以上这篇pytorch方法测试详解——归一化(BatchNorm2d)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现模拟按键,自动翻页看u17漫画
Mar 17 Python
利用Python将文本中的中英文分离方法
Oct 31 Python
python实现简易数码时钟
Feb 19 Python
Python XML转Json之XML2Dict的使用方法
Jan 15 Python
Django 多环境配置详解
May 14 Python
关于 Python opencv 使用中的 ValueError: too many values to unpack
Jun 28 Python
python全栈知识点总结
Jul 01 Python
Python的log日志功能及设置方法
Jul 11 Python
详解python破解zip文件密码的方法
Jan 13 Python
Python 解决相对路径问题:"No such file or directory"
Jun 05 Python
详细分析Python collections工具库
Jul 16 Python
Python为何不支持switch语句原理详解
Oct 21 Python
Python 中@property的用法详解
Jan 15 #Python
Python字符串中删除特定字符的方法
Jan 15 #Python
计算pytorch标准化(Normalize)所需要数据集的均值和方差实例
Jan 15 #Python
pytorch 图像中的数据预处理和批标准化实例
Jan 15 #Python
pytorch实现特殊的Module--Sqeuential三种写法
Jan 15 #Python
python实现删除列表中某个元素的3种方法
Jan 15 #Python
python opencv根据颜色进行目标检测的方法示例
Jan 15 #Python
You might like
PHP脚本的10个技巧(5)
2006/10/09 PHP
第十节--抽象方法和抽象类
2006/11/16 PHP
PHP STRING 陷阱原理说明
2010/07/24 PHP
Admin generator, filters and I18n
2011/10/06 PHP
php文件上传后端处理小技巧
2016/05/22 PHP
Laravel 实现密码重置功能
2018/02/23 PHP
PHP count_chars()函数讲解
2019/02/14 PHP
ThinkPHP5.1验证码功能实现的示例代码
2020/06/08 PHP
JS实现网页背景颜色与select框中颜色同时变化的方法
2015/02/27 Javascript
JavaScript Split()方法
2015/12/18 Javascript
JavaScript实现数据类型的相互转换
2016/03/06 Javascript
JS表格组件BootstrapTable行内编辑解决方案x-editable
2016/09/01 Javascript
详解Angular.js的$q.defer()服务异步处理
2016/11/06 Javascript
树结构之JavaScript
2017/01/24 Javascript
Vue2.0实现将页面中表格数据导出excel的实例
2017/08/09 Javascript
vuejs使用递归组件实现树形目录的方法
2017/09/30 Javascript
微信小程序form表单组件示例代码
2018/07/15 Javascript
JS 正则表达式验证密码、邮箱格式的实例代码
2018/10/28 Javascript
javascript中数组的常用算法深入分析
2019/03/12 Javascript
vue实现路由监听和参数监听
2019/10/29 Javascript
vue中 v-for循环的用法详解
2020/02/19 Javascript
浅谈Vue 函数式组件的使用技巧
2020/06/16 Javascript
[01:04]不如跳舞!DOTA2新英雄玛尔斯的欢乐日常
2019/03/11 DOTA
解决TensorFlow GPU版出现OOM错误的问题
2020/02/03 Python
详解用Python调用百度地图正/逆地理编码API
2020/07/02 Python
pandas使用函数批量处理数据(map、apply、applymap)
2020/11/27 Python
意大利在线药房:shop-farmacia.it
2019/03/12 全球购物
介绍一下grep命令的使用
2012/06/28 面试题
家长评语大全
2014/01/22 职场文书
授权委托书怎么写
2014/04/03 职场文书
大专学生求职信
2014/07/04 职场文书
我的梦想演讲稿500字
2014/08/21 职场文书
文员转正自我鉴定怎么写
2014/09/29 职场文书
2014年小学少先队工作总结
2014/12/18 职场文书
2016年机关单位节能宣传周活动总结
2016/04/05 职场文书
pycharm debug 断点调试心得分享
2021/04/16 Python