解决Pytorch训练过程中loss不下降的问题


Posted in Python onJanuary 02, 2020

在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。

下面是我的代码:

loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()

要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。

以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python执行时间的计算方法小结
Mar 17 Python
python3调用R的示例代码
Feb 23 Python
python实现读取大文件并逐行写入另外一个文件
Apr 19 Python
python的turtle库使用详解
May 10 Python
一文秒懂python读写csv xml json文件各种骚操作
Jul 04 Python
在pytorch中查看可训练参数的例子
Aug 18 Python
自定义django admin model表单提交的例子
Aug 23 Python
python定位xpath 节点位置的方法
Aug 27 Python
python 实现按对象传值
Dec 26 Python
可视化pytorch 模型中不同BN层的running mean曲线实例
Jun 24 Python
Python提取PDF指定内容并生成新文件
Jun 09 Python
Python数据可视化之Seaborn的安装及使用
Apr 19 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 #Python
Python for循环与getitem的关系详解
Jan 02 #Python
python实现双色球随机选号
Jan 01 #Python
PyTorch实现更新部分网络,其他不更新
Dec 31 #Python
pytorch中的transforms模块实例详解
Dec 31 #Python
Pytorch 实现权重初始化
Dec 31 #Python
pytorch 归一化与反归一化实例
Dec 31 #Python
You might like
PHP通过API获取手机号码归属地
2015/05/28 PHP
thinkPHP5 ACL用户权限模块用法详解
2017/05/10 PHP
javascript知识点收藏
2007/02/22 Javascript
javascript实现unicode和字符的互相转换
2007/07/18 Javascript
js实现的折叠导航示例
2013/11/29 Javascript
webpack学习笔记之优化缓存、合并、懒加载
2017/08/24 Javascript
详解react-native WebView 返回处理(非回调方法可解决)
2018/02/27 Javascript
vue实现在表格里,取每行的id的方法
2018/03/09 Javascript
JavaScript作用域链实例详解
2019/01/21 Javascript
JS+CSS实现随机点名(实例代码)
2019/11/04 Javascript
在vue+element ui框架里实现lodash的debounce防抖
2019/11/13 Javascript
如何通过JS实现转码与解码
2020/02/21 Javascript
[07:47]DOTA2国际邀请赛采访专栏:探访Valve总部
2013/08/08 DOTA
[04:27]2014DOTA2国际邀请赛 NAVI战队官方纪录片
2014/07/21 DOTA
[02:37]2015国际邀请赛选手档案—LGD.Xiao8
2015/07/28 DOTA
[43:33]EG vs Spirit Supermajor 败者组 BO3 第一场 6.4
2018/06/05 DOTA
python通过scapy获取局域网所有主机mac地址示例
2014/05/04 Python
python利用paramiko连接远程服务器执行命令的方法
2017/10/16 Python
Python算法之求n个节点不同二叉树个数
2017/10/27 Python
django请求返回不同的类型图片json,xml,html的实例
2018/05/22 Python
对Python中list的倒序索引和切片实例讲解
2018/11/15 Python
利用Python实现原创工具的Logo与Help
2018/12/03 Python
Python django搭建layui提交表单,表格,图标的实例
2019/11/18 Python
Python实现将蓝底照片转化为白底照片功能完整实例
2019/12/13 Python
Python逐行读取文件内容的方法总结
2020/02/14 Python
基于tf.shape(tensor)和tensor.shape()的区别说明
2020/06/30 Python
Python实现删除某列中含有空值的行的示例代码
2020/07/20 Python
YII2 全局异常处理深入讲解
2021/03/24 PHP
高级方案规划工程师岗位职责
2013/11/29 职场文书
大学生个人简历中的自我评价
2013/12/27 职场文书
安全生产专项整治方案
2014/05/06 职场文书
政治学专业毕业生求职信
2014/08/11 职场文书
鲁迅故居导游词
2015/02/05 职场文书
创先争优个人总结
2015/03/04 职场文书
2015年勤工助学工作总结
2015/04/29 职场文书
React列表栏及购物车组件使用详解
2021/06/28 Javascript