Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python struct.unpack
Sep 06 Python
python快速排序代码实例
Nov 21 Python
Python中正则表达式的用法实例汇总
Aug 18 Python
Python轻量级ORM框架Peewee访问sqlite数据库的方法详解
Jul 20 Python
浅谈python连续赋值可能引发的错误
Nov 10 Python
在python 中实现运行多条shell命令
Jan 07 Python
python使用adbapi实现MySQL数据库的异步存储
Mar 19 Python
python内存管理机制原理详解
Aug 12 Python
Django对models里的objects的使用详解
Aug 17 Python
python+playwright微软自动化工具的使用
Feb 02 Python
python编写函数注意事项总结
Mar 29 Python
还在手动盖楼抽奖?教你用Python实现自动评论盖楼抽奖(一)
Jun 07 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
php下删除一篇文章生成的多个静态页面
2010/08/08 PHP
在windows服务器开启php的gd库phpinfo中未发现
2013/01/13 PHP
VB中的RasEnumConnections函数返回632错误解决方法
2014/07/29 PHP
linux下为php添加iconv模块的方法
2016/02/28 PHP
PHP使用XMLWriter读写xml文件操作详解
2018/07/31 PHP
javascript模版引擎-tmpl的bug修复与性能优化分析
2011/10/23 Javascript
jquery鼠标滑过提示title具体实现代码
2013/08/06 Javascript
JavaScript改变HTML元素的样式改变CSS及元素属性
2013/11/12 Javascript
javascript获取checkbox复选框获取选中的选项
2014/08/12 Javascript
javascript通过获取html标签属性class实现多选项卡的方法
2015/07/27 Javascript
jQuery中prepend()方法使用详解
2015/08/11 Javascript
深入理解MVC中的时间js格式化
2016/05/19 Javascript
解析Javascript单例模式概念与实例
2016/12/05 Javascript
两种简单的跨域方法(jsonp、php)
2017/01/02 Javascript
websocket+node.js实现实时聊天系统问题咨询
2017/05/17 Javascript
node文件上传功能简易实现代码
2017/06/16 Javascript
vue2 中二级路由高亮问题及配置方法
2019/06/10 Javascript
JavaScript解析JSON数据示例
2019/07/16 Javascript
vue-cli 项目打包完成后运行文件路径报错问题
2019/07/19 Javascript
layui使用templet格式化表格数据的方法
2019/09/16 Javascript
小程序跨页面交互的作用与方法详解
2020/01/07 Javascript
JS运算符优先级与表达式示例详解
2020/09/04 Javascript
[01:01:04]2018DOTA2亚洲邀请赛 4.5 淘汰赛 OpTic vs TNC 第一场
2018/04/06 DOTA
[51:28]EG vs Mineski 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/16 DOTA
[42:32]完美世界DOTA2联赛PWL S2 LBZS vs FTD.C 第二场 11.27
2020/12/01 DOTA
Python实现的矩阵转置与矩阵相乘运算示例
2019/03/26 Python
python 比较字典value的最大值的几种方法
2020/04/17 Python
Python调用.net动态库实现过程解析
2020/06/05 Python
python爬虫智能翻页批量下载文件的实例详解
2021/02/02 Python
马耳他航空公司官方网站:Air Malta
2019/05/15 全球购物
澳大利亚和新西兰最大的在线旅行社之一:Aunt Betty
2019/08/07 全球购物
广州御银科技股份有限公司试卷(C++)
2016/11/04 面试题
医学类个人求职信范文
2014/02/05 职场文书
个人承诺书格式
2014/06/03 职场文书
小学主题班会教案
2015/08/17 职场文书
导游词之河北滦平金山岭长城
2019/10/16 职场文书