Pytorch 中net.train 和 net.eval的使用说明


Posted in Python onMay 22, 2021

在训练模型时会在前面加上:

model.train()

在测试模型时在前面使用:

model.eval()

同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和 Dropout。

训练时是正对每个min-batch的,但是在测试中往往是针对单张图片,即不存在min-batch的概念。

由于网络训练完毕后参数都是固定的,因此每个批次的均值和方差都是不变的,因此直接结算所有batch的均值和方差。

所有Batch Normalization的训练和测试时的操作不同

在训练中,每个隐层的神经元先乘概率P,然后在进行激活,在测试中,所有的神经元先进行激活,然后每个隐层神经元的输出乘P。

补充:Pytorch踩坑记录——model.eval()

最近在写代码时遇到一个问题,原本训练好的模型,加载进来进行inference准确率直接掉了5个点,尼玛,这简直不能忍啊~本菜鸡下意识地感知到我肯定又在哪里写了bug了~~~于是开始到处排查,从model load到data load,最终在一个被我封装好的module的犄角旮旯里找到了问题,于是顺便就在这里总结一下,避免以后再犯。

对于训练好的模型加载进来准确率和原先的不符,比较常见的有两方面的原因:

1)data

2)model.state_dict()

1) data

数据方面,检查前后两次加载的data有没有发生变化。首先检查 transforms.Normalize 使用的均值和方差是否和训练时相同;另外检查在这个过程中数据是否经过了存储形式的改变,这有可能会带来数据精度的变化导致一定的信息丢失。

比如我过用的其中一个数据集,原先将图片存储成向量形式,但其对应的是“png”格式的数据(后来在原始文件中发现了相应的描述。),而我进行了一次data-to-img操作,将向量转换成了“jpg”形式,这时加载进来便造成了掉点。

2)model.state_dict()

第一方面造成的掉点一般不会太严重,第二方面造成的掉点就比较严重了,一旦模型的参数加载错了,那就误差大了。

如果是参数没有正确加载进来则比较容易发现,这时准确率非常低,几乎等于瞎猜。

而我这次遇到的情况是,准确率并不是特别低,只掉了几个点,检查了多次,均显示模型参数已经成功加载了。后来仔细查看后发现在其中一次调用模型进行inference时,忘了写 ‘model.eval()',造成了模型的参数发生变化,再次调用则出现了掉点。

于是又回顾了一下model.eval()和model.train()的具体作用。如下:

model.train() 和 model.eval() 一般在模型训练和评价的时候会加上这两句,主要是针对由于model 在训练时和评价时 Batch

Normalization 和 Dropout 方法模式不同:

a) model.eval(),不启用 BatchNormalization 和 Dropout。此时pytorch会自动把BN和DropOut固定住,不会取平均,而是用训练好的值。不然的话,一旦test的batch_size过小,很容易就会因BN层导致模型performance损失较大;

b) model.train() :启用 BatchNormalization 和 Dropout。 在模型测试阶段使用model.train() 让model变成训练模式,此时 dropout和batch normalization的操作在训练q起到防止网络过拟合的问题。

因此,在使用PyTorch进行训练和测试时一定要记得把实例化的model指定train/eval。

model.eval()   vs   torch.no_grad()

虽然二者都是eval的时候使用,但其作用并不相同:

model.eval() 负责改变batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。 见下方代码:

import torch
  import torch.nn as nn
 
  drop = nn.Dropout()
  x = torch.ones(10)
  
  # Train mode   
  drop.train()
  print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.])   
  
  # Eval mode   
  drop.eval()
  print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 负责关掉梯度计算,节省eval的时间。

只进行inference时,model.eval()是必须使用的,否则会影响结果准确性。 而torch.no_grad()并不是强制的,只影响运行效率。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 爬虫学习笔记之单线程爬虫
Sep 21 Python
Java编程迭代地删除文件夹及其下的所有文件实例
Feb 10 Python
解决csv.writer写入文件有多余的空行问题
Jul 06 Python
Python检查图片是否损坏及图片类型是否正确过程详解
Sep 30 Python
Python自动化完成tb喵币任务的操作方法
Oct 30 Python
python 检查数据中是否有缺失值,删除缺失值的方式
Dec 02 Python
python实现时间序列自相关图(acf)、偏自相关图(pacf)教程
Jun 03 Python
python简单实现插入排序实例代码
Dec 16 Python
python中yield的用法详解
Jan 13 Python
Python基础之元类详解
Apr 29 Python
如何在向量化NumPy数组上进行移动窗口
May 18 Python
python中的装饰器该如何使用
Jun 18 Python
对PyTorch中inplace字段的全面理解
May 22 #Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
You might like
落伍首发 php+mysql 采用ajax技术的 省 市 地 3级联动无刷新菜单 源码
2006/12/16 PHP
PHP中ob_start函数的使用说明
2013/11/11 PHP
PHP开发Apache服务器配置
2015/07/15 PHP
Linux环境下php实现给网站截图的方法
2016/05/03 PHP
PHP  实现等比压缩图片尺寸和大小实例代码
2016/10/08 PHP
PHP使用Redis长连接的方法详解
2018/02/12 PHP
php在windows环境下获得cpu内存实时使用率(推荐)
2018/02/08 PHP
js传值 判断
2006/10/26 Javascript
JS防止用户多次提交的简单代码
2013/08/01 Javascript
jQuery在html有效在jsp无效的原因及解决方法
2013/08/02 Javascript
json属性名为什么要双引号(个人猜测)
2014/07/31 Javascript
JavaScript学习笔记之JS事件对象
2015/01/22 Javascript
IE6兼容透明背景图片及解决方案
2015/08/19 Javascript
js控制TR的显示隐藏
2016/03/04 Javascript
AngularGauge 属性解析详解
2016/09/06 Javascript
node.js Sequelize实现单实例字段或批量自增、自减
2016/12/08 Javascript
Javascript自定义事件详解
2017/01/13 Javascript
JavaScript的for循环中嵌套一个点击事件的问题解决
2017/03/03 Javascript
CSS3+JavaScript实现翻页幻灯片效果
2017/06/28 Javascript
详解在React中跨组件分发状态的三种方法
2018/08/09 Javascript
webpack优化之代码分割与公共代码提取详解
2019/11/22 Javascript
Python构建XML树结构的方法示例
2017/06/30 Python
完美解决Python 2.7不能正常使用pip install的问题
2018/06/12 Python
关于Kotlin中SAM转换的那些事
2020/09/15 Python
如何用Python进行时间序列分解和预测
2021/03/01 Python
平面设计岗位职责
2013/12/14 职场文书
创新比赛获奖感言
2014/02/13 职场文书
医院护士党的群众路线教育实践活动对照检查材料思想汇报
2014/10/04 职场文书
店面出租协议书范本
2014/11/28 职场文书
付款承诺函范文
2015/01/21 职场文书
三峡导游词
2015/01/31 职场文书
研讨会通知
2015/04/27 职场文书
赢在中国观后感
2015/06/02 职场文书
诉讼和解协议书
2016/03/23 职场文书
python 如何在 Matplotlib 中绘制垂直线
2021/04/02 Python
angular异步验证器防抖实例详解
2022/03/31 Javascript