解决Pytorch训练过程中loss不下降的问题


Posted in Python onJanuary 02, 2020

在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。

下面是我的代码:

loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()

要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。

以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中元类用法实例
Oct 10 Python
Python入门教程之if语句的用法
May 14 Python
python提取字典key列表的方法
Jul 11 Python
Python for循环生成列表的实例
Jun 15 Python
Django中的Model操作表的实现
Jul 24 Python
Django 响应数据response的返回源码详解
Aug 06 Python
Python中zip()函数的简单用法举例
Sep 02 Python
Python中__repr__和__str__区别详解
Nov 07 Python
简单了解python字符串前面加r,u的含义
Dec 26 Python
利用python画出AUC曲线的实例
Feb 28 Python
在django中使用post方法时,需要增加csrftoken的例子
Mar 13 Python
Python内置的数据类型及使用方法
Apr 13 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 #Python
Python for循环与getitem的关系详解
Jan 02 #Python
python实现双色球随机选号
Jan 01 #Python
PyTorch实现更新部分网络,其他不更新
Dec 31 #Python
pytorch中的transforms模块实例详解
Dec 31 #Python
Pytorch 实现权重初始化
Dec 31 #Python
pytorch 归一化与反归一化实例
Dec 31 #Python
You might like
PHP中的加密功能
2006/10/09 PHP
PHP setTime 设置当前时间的代码
2012/08/27 PHP
PHP命名空间namespace用法实例分析
2016/09/27 PHP
php面向对象的用户登录身份验证
2017/06/08 PHP
Windows平台实现PHP连接SQL Server2008的方法
2017/07/26 PHP
Laravel 微信小程序后端实现用户登录的示例代码
2019/11/26 PHP
PHP实现本地图片转base64格式并上传
2020/05/29 PHP
获取页面高度,窗口高度,滚动条高度等参数值getPageSize,getPageScroll
2006/09/22 Javascript
jquery 多级下拉菜单核心代码
2010/05/21 Javascript
js 数组的for循环到底应该怎么写?
2010/05/31 Javascript
在jquery中的ajax方法怎样通过JSONP进行远程调用
2014/04/04 Javascript
NodeJS Express框架中处理404页面一个方式
2014/05/28 NodeJs
js兼容火狐获取图片宽和高的方法
2015/05/21 Javascript
鼠标经过子元素触发mouseout,mouseover事件的解决方案
2015/07/26 Javascript
js实现带圆角的两级导航菜单效果代码
2015/08/24 Javascript
jquery 无限极下拉菜单的简单实例(精简浓缩版)
2016/05/31 Javascript
简单三步实现报表页面集成天气
2016/12/15 Javascript
在点击div中的p时,如何阻止事件冒泡
2017/02/07 Javascript
Bootstrap 模态框自定义点击和关闭事件详解
2018/08/10 Javascript
node.js中对Event Loop事件循环的理解与应用实例分析
2020/02/14 Javascript
vue-resource 拦截器interceptors使用详解
2021/01/18 Vue.js
python算法学习之基数排序实例
2013/12/18 Python
python实现给字典添加条目的方法
2014/09/25 Python
python在Windows下安装setuptools(easy_install工具)步骤详解
2016/07/01 Python
浅谈使用Python变量时要避免的3个错误
2017/10/30 Python
Python解析并读取PDF文件内容的方法
2018/05/08 Python
ubuntu 安装pyqt5和卸载pyQt5的方法
2020/03/24 Python
Python在字符串中处理html和xml的方法
2020/07/31 Python
python解包概念及实例
2021/02/17 Python
安全检查管理制度
2014/02/02 职场文书
2014年语文教学工作总结
2014/12/17 职场文书
研究生毕业论文导师评语
2014/12/31 职场文书
2015年教学副校长工作总结
2015/07/22 职场文书
《黄道婆》教学反思
2016/02/22 职场文书
Go各时间字符串使用解析
2021/04/02 Golang
Python中22个万用公式的小结
2021/07/21 Python