解决Pytorch训练过程中loss不下降的问题


Posted in Python onJanuary 02, 2020

在使用Pytorch进行神经网络训练时,有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多,包括学习率过小,数据没有进行Normalization等。不过除了这些常规的原因,还有一种难以发现的原因:在计算loss时数据维数不匹配。

下面是我的代码:

loss_function = torch.nn.MSE_loss()
optimizer.zero_grad()
output = model(x_train)
loss = loss_function(output, y_train)
loss.backward()
optimizer.step()

要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配,否则训练误差不下降,无法训练。这种错误在训练一维数据时很容易忽略,要十分注意。

以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
zbar解码二维码和条形码示例
Feb 07 Python
python使用循环实现批量创建文件夹示例
Mar 25 Python
理解Python中的With语句
Feb 02 Python
Python使用smtplib模块发送电子邮件的流程详解
Jun 27 Python
Python正则简单实例分析
Mar 21 Python
python实战之实现excel读取、统计、写入的示例讲解
May 02 Python
Python使用selenium实现网页用户名 密码 验证码自动登录功能
May 16 Python
Python JSON格式数据的提取和保存的实现
Mar 22 Python
详解Python time库的使用
Oct 10 Python
django实现模板中的字符串文字和自动转义
Mar 31 Python
Python restful框架接口开发实现
Apr 13 Python
Python对excel的基本操作方法
Feb 18 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 #Python
Python for循环与getitem的关系详解
Jan 02 #Python
python实现双色球随机选号
Jan 01 #Python
PyTorch实现更新部分网络,其他不更新
Dec 31 #Python
pytorch中的transforms模块实例详解
Dec 31 #Python
Pytorch 实现权重初始化
Dec 31 #Python
pytorch 归一化与反归一化实例
Dec 31 #Python
You might like
深入分析使用mysql_fetch_object()以对象的形式返回查询结果
2013/06/05 PHP
神盾加密解密教程(一)PHP变量可用字符
2014/05/28 PHP
PHP rsa加密解密算法原理解析
2020/12/09 PHP
实例:用 JavaScript 来操作字符串(一些字符串函数)
2007/02/15 Javascript
JavaScript中的集合及效率
2010/01/08 Javascript
基于jQuery的消息提示插件 DivAlert之旅(二)
2010/04/01 Javascript
IE8 中使用加速器(Activities)
2010/05/14 Javascript
你必须知道的JavaScript 中字符串连接的性能的一些问题
2013/05/07 Javascript
javascript时间函数大全
2014/06/30 Javascript
多个$(document).ready()的执行顺序实例分析
2014/07/26 Javascript
jQuery圆形统计图开发实例
2015/01/04 Javascript
在HTML中插入JavaScript代码的示例
2015/06/03 Javascript
jQuery实现自动切换播放的经典滑动门效果
2015/09/12 Javascript
详解iframe与frame的区别
2016/01/13 Javascript
纯js实现手风琴效果
2020/04/17 Javascript
基于JS判断iframe是否加载成功的方法(多种浏览器)
2016/05/13 Javascript
iScroll.js 使用方法参考
2016/05/16 Javascript
JavaScript实现相册弹窗功能(zepto.js)
2016/06/21 Javascript
JS实现点击生成UUID的方法完整实例【基于jQuery】
2019/06/12 jQuery
JavaScript 变量,数据类型基础实例详解【变量、字符串、数组、对象等】
2020/01/04 Javascript
JavaScript实现筛选数组
2021/03/02 Javascript
[44:43]完美世界DOTA2联赛决赛日 FTD vs GXR 第一场 11.08
2020/11/11 DOTA
Python HTMLParser模块解析html获取url实例
2015/04/08 Python
python双向链表原理与实现方法详解
2019/12/03 Python
python+flask编写一个简单的登录接口
2020/11/13 Python
英国男女豪华配饰和礼品网站:Black.co.uk
2020/02/28 全球购物
酒店前台接待岗位职责
2013/12/03 职场文书
预备党员综合考察材料
2014/05/31 职场文书
城市创卫标语
2014/06/17 职场文书
本科毕业生应聘求职信
2014/07/06 职场文书
法人代表授权委托书范文
2014/09/10 职场文书
派出所副所长四风问题个人整改措施思想汇报
2014/10/13 职场文书
活动简报范文
2015/07/22 职场文书
MySQL一些常用高级SQL语句
2021/07/03 MySQL
CSS+HTML 实现顶部导航栏功能
2021/08/30 HTML / CSS
直播实况, OMG破敌三路五十分钟大战神技局摩托车
2022/04/01 DOTA