Pytorch 中net.train 和 net.eval的使用说明


Posted in Python onMay 22, 2021

在训练模型时会在前面加上:

model.train()

在测试模型时在前面使用:

model.eval()

同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和 Dropout。

训练时是正对每个min-batch的,但是在测试中往往是针对单张图片,即不存在min-batch的概念。

由于网络训练完毕后参数都是固定的,因此每个批次的均值和方差都是不变的,因此直接结算所有batch的均值和方差。

所有Batch Normalization的训练和测试时的操作不同

在训练中,每个隐层的神经元先乘概率P,然后在进行激活,在测试中,所有的神经元先进行激活,然后每个隐层神经元的输出乘P。

补充:Pytorch踩坑记录——model.eval()

最近在写代码时遇到一个问题,原本训练好的模型,加载进来进行inference准确率直接掉了5个点,尼玛,这简直不能忍啊~本菜鸡下意识地感知到我肯定又在哪里写了bug了~~~于是开始到处排查,从model load到data load,最终在一个被我封装好的module的犄角旮旯里找到了问题,于是顺便就在这里总结一下,避免以后再犯。

对于训练好的模型加载进来准确率和原先的不符,比较常见的有两方面的原因:

1)data

2)model.state_dict()

1) data

数据方面,检查前后两次加载的data有没有发生变化。首先检查 transforms.Normalize 使用的均值和方差是否和训练时相同;另外检查在这个过程中数据是否经过了存储形式的改变,这有可能会带来数据精度的变化导致一定的信息丢失。

比如我过用的其中一个数据集,原先将图片存储成向量形式,但其对应的是“png”格式的数据(后来在原始文件中发现了相应的描述。),而我进行了一次data-to-img操作,将向量转换成了“jpg”形式,这时加载进来便造成了掉点。

2)model.state_dict()

第一方面造成的掉点一般不会太严重,第二方面造成的掉点就比较严重了,一旦模型的参数加载错了,那就误差大了。

如果是参数没有正确加载进来则比较容易发现,这时准确率非常低,几乎等于瞎猜。

而我这次遇到的情况是,准确率并不是特别低,只掉了几个点,检查了多次,均显示模型参数已经成功加载了。后来仔细查看后发现在其中一次调用模型进行inference时,忘了写 ‘model.eval()',造成了模型的参数发生变化,再次调用则出现了掉点。

于是又回顾了一下model.eval()和model.train()的具体作用。如下:

model.train() 和 model.eval() 一般在模型训练和评价的时候会加上这两句,主要是针对由于model 在训练时和评价时 Batch

Normalization 和 Dropout 方法模式不同:

a) model.eval(),不启用 BatchNormalization 和 Dropout。此时pytorch会自动把BN和DropOut固定住,不会取平均,而是用训练好的值。不然的话,一旦test的batch_size过小,很容易就会因BN层导致模型performance损失较大;

b) model.train() :启用 BatchNormalization 和 Dropout。 在模型测试阶段使用model.train() 让model变成训练模式,此时 dropout和batch normalization的操作在训练q起到防止网络过拟合的问题。

因此,在使用PyTorch进行训练和测试时一定要记得把实例化的model指定train/eval。

model.eval()   vs   torch.no_grad()

虽然二者都是eval的时候使用,但其作用并不相同:

model.eval() 负责改变batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。 见下方代码:

import torch
  import torch.nn as nn
 
  drop = nn.Dropout()
  x = torch.ones(10)
  
  # Train mode   
  drop.train()
  print(drop(x)) # tensor([2., 2., 0., 2., 2., 2., 2., 0., 0., 2.])   
  
  # Eval mode   
  drop.eval()
  print(drop(x)) # tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])

torch.no_grad() 负责关掉梯度计算,节省eval的时间。

只进行inference时,model.eval()是必须使用的,否则会影响结果准确性。 而torch.no_grad()并不是强制的,只影响运行效率。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python的Scrapy框架编写web爬虫的简单示例
Apr 17 Python
python中的错误处理
Apr 10 Python
Python实现递归遍历文件夹并删除文件
Apr 18 Python
python实现字典(dict)和字符串(string)的相互转换方法
Mar 01 Python
Python爬虫实例爬取网站搞笑段子
Nov 08 Python
在PyCharm导航区中打开多个Project的关闭方法
Jan 17 Python
Python玩转PDF的各种骚操作
May 06 Python
python tkinter基本属性详解
Sep 16 Python
基于Python和PyYAML读取yaml配置文件数据
Jan 13 Python
Jupyter Notebook远程登录及密码设置操作
Apr 10 Python
python 8种必备的gui库
Aug 27 Python
python-地图可视化组件folium的操作
Dec 14 Python
对PyTorch中inplace字段的全面理解
May 22 #Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 #Python
用python实现监控视频人数统计
Python基础之进程详解
如何在C++中调用Python
May 21 #Python
python 定义函数 返回值只取其中一个的实现
May 21 #Python
Python+Appium实现自动抢微信红包
You might like
如何在PHP中使用Oracle数据库(6)
2006/10/09 PHP
Cannot modify header information错误解决方法
2008/10/08 PHP
PHP7.0安装笔记整理
2015/08/28 PHP
PHP多进程编程之僵尸进程问题的理解
2017/10/15 PHP
PHP设计模式之观察者模式定义与用法分析
2019/04/04 PHP
PHPUnit + Laravel单元测试常用技能
2019/11/06 PHP
JQuery验证工具类搜集整理
2013/01/16 Javascript
Jquery的hide及toggle方法让超链接慢慢消失
2013/09/06 Javascript
javascript Array.prototype.slice的使用示例
2013/11/14 Javascript
jquery将一个表单序列化为一个对象的方法
2013/12/02 Javascript
js操作滚动条事件实例
2015/01/29 Javascript
jQuery实现DIV层收缩展开的方法
2015/02/27 Javascript
Bootstrap插件全集
2016/07/18 Javascript
利用SpringMVC过滤器解决vue跨域请求的问题
2018/02/10 Javascript
在angular 6中使用 less 的实例代码
2018/05/13 Javascript
Vue 全家桶实现移动端酷狗音乐功能
2018/11/16 Javascript
原生js实现的移动端可拖动进度条插件功能详解
2019/08/15 Javascript
Vuex实现数据增加和删除功能
2019/11/11 Javascript
jquery实现上传文件进度条
2020/03/26 jQuery
Django在Win7下的安装及创建项目hello word简明教程
2014/07/14 Python
pymysql模块的操作实例
2019/12/17 Python
详解python程序中的多任务
2020/09/16 Python
python 6行代码制作月历生成器
2020/09/18 Python
BOSE德国官网:尽探索之力,享音乐之极
2016/12/11 全球购物
英国鞋网:Rubber Sole
2020/03/03 全球购物
学习新党章思想汇报
2014/01/09 职场文书
小组名称和口号
2014/06/09 职场文书
标准毕业生自荐信
2014/06/24 职场文书
购房委托书范本
2014/09/18 职场文书
新学期红领巾广播稿
2014/10/04 职场文书
体育个人工作总结
2015/02/09 职场文书
创业计划书之家教托管
2019/09/25 职场文书
mysql5.7使用binlog 恢复数据的方法
2021/06/03 MySQL
Mysql中存储引擎的区别及比较
2021/06/04 MySQL
python通过函数名调用函数的几种方法总结
2021/06/07 Python
科学家测试在太空中培育人造肉,用于未来太空旅行
2022/04/29 数码科技