解决Pytorch训练过程中loss不下降的问题


Posted in Python onJanuary 02, 2020

在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。

下面是我的代码:

loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()

要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。

以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Python操作消息队列RabbitMQ的方法教程
Jul 19 Python
浅谈Python2获取中文文件名的编码问题
Jan 09 Python
python学习——内置函数、数据结构、标准库的技巧(推荐)
Apr 18 Python
Django 表单模型选择框如何使用分组
May 16 Python
python+logging+yaml实现日志分割
Jul 22 Python
利用Python校准本地时间的方法教程
Oct 31 Python
python创建学生管理系统
Nov 22 Python
python使用beautifulsoup4爬取酷狗音乐代码实例
Dec 04 Python
python实现替换word中的关键文字(使用通配符)
Feb 13 Python
Python实现密钥密码(加解密)实例详解
Apr 26 Python
Django 如何使用日期时间选择器规范用户的时间输入示例代码详解
May 22 Python
pandas按照列的值排序(某一列或者多列)
Dec 13 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 #Python
Python for循环与getitem的关系详解
Jan 02 #Python
python实现双色球随机选号
Jan 01 #Python
PyTorch实现更新部分网络,其他不更新
Dec 31 #Python
pytorch中的transforms模块实例详解
Dec 31 #Python
Pytorch 实现权重初始化
Dec 31 #Python
pytorch 归一化与反归一化实例
Dec 31 #Python
You might like
php4的session功能评述(三)
2006/10/09 PHP
一个简单的网页密码登陆php代码
2012/07/17 PHP
PHP开发框架kohana中处理ajax请求的例子
2014/07/14 PHP
ThinkPHP V2.2说明文档没有说明的那些事实例小结
2015/07/01 PHP
php使用pdo连接sqlite3的配置示例
2016/05/27 PHP
JSON PHP中,Json字符串反序列化成对象/数组的方法
2018/05/31 PHP
javascript学习笔记(五) Array 数组类型介绍
2012/06/19 Javascript
jquery子元素过滤选择器使用示例
2013/06/24 Javascript
使用javascript实现页面定时跳转总结篇
2013/09/21 Javascript
jquery获取复选框被选中的值
2014/03/22 Javascript
jquery中的ajax方法怎样通过JSONP进行远程调用
2014/05/04 Javascript
单击某一段文字改写文本颜色
2014/06/06 Javascript
jQuery取得设置清空select选择的文本与值
2014/07/08 Javascript
js在数组中删除重复的元素自保留一个(两种实现思路)
2014/08/22 Javascript
如何减少浏览器的reflow和repaint
2015/02/26 Javascript
javascript封装简单实现方法
2015/08/11 Javascript
jQuery对table表格进行增删改查
2020/12/22 Javascript
最全的JavaScript开发工具列表 总有一款适合你
2017/06/29 Javascript
在vue里面设置全局变量或数据的方法
2018/03/09 Javascript
Angular6封装http请求的步骤详解
2018/08/13 Javascript
vue elementUI tree树形控件获取父节点ID的实例
2018/09/12 Javascript
vue canvas绘制矩形并解决由clearRec带来的闪屏问题
2019/09/02 Javascript
Python简单定义与使用字典dict的方法示例
2017/07/25 Python
Python实现感知机(PLA)算法
2017/12/20 Python
安装python及pycharm的教程图解
2019/10/10 Python
pytorch 实现删除tensor中的指定行列
2020/01/13 Python
Django跨域请求原理及实现代码
2020/11/14 Python
CSS3伪类选择器:nth-child()
2009/04/02 HTML / CSS
html5拖曳操作 HTML5实现网页元素的拖放操作
2013/01/02 HTML / CSS
linux比较文件内容的命令是什么
2015/09/23 面试题
生日寄语大全
2014/04/08 职场文书
产品推广策划方案
2014/05/10 职场文书
村党建工作汇报材料
2014/11/02 职场文书
该怎么书写道歉信?
2019/07/03 职场文书
为什么说餐饮很难做,是因为你不了解这些新规则
2019/08/20 职场文书
ORACLE查看当前账号的相关信息
2021/06/18 Oracle