Pytorch 中net.train 和 net.eval的使用说明


Posted in Python onMay 22, 2021

在训练模型时会在前面加上:

model.train()

在测试模型时在前面使用:

model.eval()

同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和 Dropout。

训练时是正对每个min-batch的,但是在测试中往往是针对单张图片,即不存在min-batch的概念。

由于网络训练完毕后参数都是固定的,因此每个批次的均值和方差都是不变的,因此直接结算所有batch的均值和方差。

所有Batch Normalization的训练和测试时的操作不同

在训练中,每个隐层的神经元先乘概率P,然后在进行激活,在测试中,所有的神经元先进行激活,然后每个隐层神经元的输出乘P。

补充:Pytorch踩坑记录——model.eval()

最近在写代码时遇到一个问题,原本训练好的模型,加载进来进行inference准确率直接掉了5个点,尼玛,这简直不能忍啊~本菜鸡下意识地感知到我肯定又在哪里写了bug了~~~于是开始到处排查,从model load到data load,最终在一个被我封装好的module的犄角旮旯里找到了问题,于是顺便就在这里总结一下,避免以后再犯。

对于训练好的模型加载进来准确率和原先的不符,比较常见的有两方面的原因:

1)data

2)model.state_dict()

1) data

数据方面,检查前后两次加载的data有没有发生变化。首先检查 transforms.Normalize 使用的均值和方差是否和训练时相同;另外检查在这个过程中数据是否经过了存储形式的改变,这有可能会带来数据精度的变化导致一定的信息丢失。

比如我过用的其中一个数据集,原先将图片存储成向量形式,但其对应的是“png”格式的数据(后来在原始文件中发现了相应的描述。),而我进行了一次data-to-img操作,将向量转换成了“jpg”形式,这时加载进来便造成了掉点。

2)model.state_dict()

第一方面造成的掉点一般不会太严重,第二方面造成的掉点就比较严重了,一旦模型的参数加载错了,那就误差大了。

如果是参数没有正确加载进来则比较容易发现,这时准确率非常低,几乎等于瞎猜。

而我这次遇到的情况是,准确率并不是特别低,只掉了几个点,检查了多次,均显示模型参数已经成功加载了。后来仔细查看后发现在其中一次调用模型进行inference时,忘了写 ‘model.eval()',造成了模型的参数发生变化,再次调用则出现了掉点。

于是又回顾了一下model.eval()和model.train()的具体作用。如下:

model.train() 和 model.eval() 一般在模型训练和评价的时候会加上这两句,主要是针对由于model 在训练时和评价时 Batch

Normalization 和 Dropout 方法模式不同:

a) model.eval(),不启用 BatchNormalization 和 Dropout。此时pytorch会自动把BN和DropOut固定住,不会取平均,而是用训练好的值。不然的话,一旦test的batch_size过小,很容易就会因BN层导致模型performance损失较大;

b) model.train() :启用 BatchNormalization 和 Dropout。 在模型测试阶段使用model.train() 让model变成训练模式,此时 dropout和batch normalization的操作在训练q起到防止网络过拟合的问题。

因此,在使用PyTorch进行训练和测试时一定要记得把实例化的model指定train/eval。

model.eval()   vs   torch.no_grad()

虽然二者都是eval的时候使用,但其作用并不相同:

model.eval() 负责改变batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。 见下方代码:

import torch
  import torch.nn as nn
 
  drop = nn.Dropout()
  x = torch.ones(10)
  
  # Train mode   
  drop.train()
  print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.])   
  
  # Eval mode   
  drop.eval()
  print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 负责关掉梯度计算,节省eval的时间。

只进行inference时,model.eval()是必须使用的,否则会影响结果准确性。 而torch.no_grad()并不是强制的,只影响运行效率。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python深入学习之特殊方法与多范式
Aug 31 Python
Python聚类算法之基本K均值实例详解
Nov 20 Python
Python+django实现文件上传
Jan 17 Python
Python PyQt5实现的简易计算器功能示例
Aug 23 Python
利用Python找出序列中出现最多的元素示例代码
Dec 08 Python
django 发送手机验证码的示例代码
Apr 25 Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 27 Python
Pytorch之view及view_as使用详解
Dec 31 Python
python3光学字符识别模块tesserocr与pytesseract的使用详解
Feb 26 Python
Pytorch转tflite方式
May 25 Python
Python多线程正确用法实例解析
May 30 Python
matplotlib subplot绘制多个子图的方法示例
Jul 28 Python
对PyTorch中inplace字段的全面理解
May 22 #Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
You might like
MySQL数据源表结构图示
2008/06/05 PHP
微信公众平台开发教程③ PHP实现微信公众号支付功能图文详解
2019/04/10 PHP
使用laravel的Eloquent模型如何获取数据库的指定列
2019/10/17 PHP
jscript之Read an Excel Spreadsheet
2007/06/13 Javascript
Dom操作之兼容技巧分享
2011/09/20 Javascript
Jquery解析json字符串及json数组的方法
2015/05/29 Javascript
javascript实现的简单计时器
2015/07/19 Javascript
javascript每日必学之多态
2016/02/23 Javascript
微信小程序 密码输入(源码下载)
2017/06/27 Javascript
JavaScript实现二叉树的先序、中序及后序遍历方法详解
2017/10/26 Javascript
将jquery.qqFace.js表情转换成微信的字符码
2017/12/01 jQuery
vue父组件向子组件传递多个数据的实例
2018/03/01 Javascript
微信小程序实现Session功能及无法获取session问题的解决方法
2019/05/07 Javascript
使用异步controller与jQuery实现卷帘式分页
2019/06/18 jQuery
json字符串对象转换代码实例
2019/09/28 Javascript
微信小程序 this.triggerEvent()的具体使用
2019/12/10 Javascript
JS实现导航栏楼层特效
2020/01/01 Javascript
JavaScript 中的无穷数(Infinity)详解
2020/02/13 Javascript
JS实现烟花爆炸效果
2020/03/10 Javascript
js实现纯前端压缩图片
2020/11/16 Javascript
[01:48]DOTA2 2015国际邀请赛中国区预选赛第二日战报
2015/05/27 DOTA
Python计算三角函数之asin()方法的使用
2015/05/15 Python
python编码最佳实践之总结
2016/02/14 Python
django使用html模板减少代码代码解析
2017/12/12 Python
Python实现模拟浏览器请求及会话保持操作示例
2018/07/30 Python
python实现括号匹配的思路详解
2018/08/23 Python
Python使用Paramiko控制liunx第三方库
2020/05/20 Python
使用bandit对目标python代码进行安全函数扫描的案例分析
2021/01/27 Python
新奇的小玩意:IWOOT
2016/07/21 全球购物
2013年办公室秘书的个人自我鉴定
2013/10/24 职场文书
生产部岗位职责范文
2014/02/07 职场文书
2015年酒店客房部工作总结
2015/04/25 职场文书
个人维稳承诺书
2015/05/04 职场文书
创业分两种人:那么哪些适合创业?,哪些适合不适合创业呢?
2019/08/23 职场文书
Python数据分析之pandas读取数据
2021/06/02 Python
java实现面板之间切换功能
2022/06/10 Java/Android