解决Pytorch训练过程中loss不下降的问题


Posted in Python onJanuary 02, 2020

在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。

下面是我的代码:

loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()

要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。

以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python根据距离和时长计算配速示例
Feb 16 Python
python通过pil模块将raw图片转换成png图片的方法
Mar 16 Python
Python随机生成信用卡卡号的实现方法
May 14 Python
Python使用sftp实现上传和下载功能(实例代码)
Mar 14 Python
TensorFlow 合并/连接数组的方法
Jul 27 Python
对django xadmin自定义菜单的实例详解
Jan 03 Python
pandas dataframe的合并实现(append, merge, concat)
Jun 24 Python
解决Python3用PIL的ImageFont输出中文乱码的问题
Aug 22 Python
关于python中的xpath解析定位
Mar 06 Python
python 获取计算机的网卡信息
Feb 18 Python
一小时学会TensorFlow2之基本操作2实例代码
Sep 04 Python
virtualenv隔离Python环境的问题解析
Jun 21 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 #Python
Python for循环与getitem的关系详解
Jan 02 #Python
python实现双色球随机选号
Jan 01 #Python
PyTorch实现更新部分网络,其他不更新
Dec 31 #Python
pytorch中的transforms模块实例详解
Dec 31 #Python
Pytorch 实现权重初始化
Dec 31 #Python
pytorch 归一化与反归一化实例
Dec 31 #Python
You might like
丧钟首部独立剧集《丧钟:骑士与龙》北美正式开播,场面血腥
2020/04/09 欧美动漫
php初学者写及时补给skype用户充话费的小程序
2008/11/02 PHP
Yii入门教程之目录结构、入口文件及路由设置
2014/11/25 PHP
基础的WordPress插件制作教程
2015/11/24 PHP
PHP实现的曲线统计图表示例
2016/11/10 PHP
PHP安装memcache扩展的步骤讲解
2019/02/14 PHP
php探针不显示内存解决方法
2019/09/17 PHP
JavaScript的9个陷阱及评点分析
2008/05/16 Javascript
提高网站信任度的技巧
2008/10/17 Javascript
jQuery 使用手册(一)
2009/09/23 Javascript
关于JavaScript定义类和对象的几种方式
2010/11/09 Javascript
replace()方法查找字符使用示例
2013/10/28 Javascript
js写的方法实现上传图片之后查看大图
2014/03/05 Javascript
JavaScript中的条件判断语句使用详解
2015/06/03 Javascript
Javascript实现可旋转的圆圈实例代码
2015/08/04 Javascript
js防阻塞加载的实现方法
2016/09/09 Javascript
JSON与XML的区别对比及案例应用
2016/11/11 Javascript
JavaScript实现的选择排序算法实例分析
2017/04/14 Javascript
全面解析Node.js 8 重要功能和修复
2017/06/02 Javascript
Angular 4依赖注入学习教程之Injectable装饰器(六)
2017/06/04 Javascript
Vue中的methods、watch、computed的区别
2018/11/26 Javascript
jquery简单实现纵向的无缝滚动代码实例
2019/04/01 jQuery
[49:30]DOTA2-DPC中国联赛正赛 Dragon vs Dynasty BO3 第二场 3月4日
2021/03/11 DOTA
[01:06:54]DOTA2-DPC中国联赛 正赛 SAG vs DLG BO3 第二场 2月28日
2021/03/11 DOTA
在Django的模板中使用认证数据的方法
2015/07/23 Python
python中pandas.DataFrame排除特定行方法示例
2017/03/12 Python
Python实现数据库并行读取和写入实例
2017/06/09 Python
Python 实现try重新执行
2019/12/21 Python
解决Django提交表单报错:CSRF token missing or incorrect的问题
2020/03/13 Python
使用Python实现微信拍一拍功能的思路代码
2020/07/09 Python
html5 canvas实现圆形时钟代码分享
2013/12/25 HTML / CSS
美国折衷生活方式品牌:Robert Graham
2018/07/13 全球购物
外贸业务员岗位职责
2013/11/24 职场文书
上级检查欢迎词
2014/01/18 职场文书
英文演讲稿开场白
2014/08/25 职场文书
化工见习报告范文
2014/10/31 职场文书