Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python新手经常遇到的17个错误分析
Jul 30 Python
python中Genarator函数用法分析
Apr 08 Python
Python文件操作,open读写文件,追加文本内容实例
Dec 14 Python
python机器学习理论与实战(五)支持向量机
Jan 19 Python
Tensorflow 训练自己的数据集将数据直接导入到内存
Jun 19 Python
python得到qq句柄,并显示在前台的方法
Oct 14 Python
pygame游戏之旅 添加游戏界面按键图形
Nov 20 Python
详解python中的hashlib模块的使用
Apr 22 Python
python如何通过闭包实现计算器的功能
Feb 22 Python
Python如何对齐字符串
Jul 30 Python
python基础之爬虫入门
May 10 Python
Python FuzzyWuzzy实现模糊匹配
Apr 28 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
解析使用ThinkPHP应该掌握的调试手段
2013/06/20 PHP
使用php 获取时间今天明天昨天时间戳的详解
2013/06/20 PHP
linux使用crontab实现PHP执行计划定时任务
2014/05/10 PHP
ThinkPHP控制器间实现相互调用的方法
2014/10/31 PHP
thinkphp实现发送邮件密码找回功能实例
2014/12/01 PHP
PHP使用openssl扩展实现加解密方法示例
2020/02/20 PHP
最好用的省市二级联动 原生js实现你值得拥有
2013/09/22 Javascript
js中Math之random,round,ceil,floor的用法总结
2013/12/26 Javascript
javascript实例分享---具有立体效果的图片特效
2014/06/08 Javascript
jquery淡入淡出效果简单实例
2016/01/14 Javascript
完美解决IE不支持Data.parse()的问题
2016/11/24 Javascript
Bootstrap的基本应用要点浅析
2016/12/19 Javascript
微信小程序 省市区选择器实例详解(附源码下载)
2017/01/05 Javascript
VueRouter导航守卫用法详解
2017/12/25 Javascript
JavaScript学习总结(一) ECMAScript、BOM、DOM(核心、浏览器对象模型与文档对象模型)
2018/01/07 Javascript
vue element-ui实现input输入框金额数字添加千分位
2019/12/29 Javascript
python生成随机验证码(中文验证码)示例
2014/04/03 Python
Python入门篇之字符串
2014/10/17 Python
Python自动连接ssh的方法
2015/03/07 Python
python3的url编码和解码,自定义gbk、utf-8的例子
2019/08/22 Python
python SocketServer源码深入解读
2019/09/17 Python
python随机模块random使用方法详解
2020/02/14 Python
初探CSS3中的calc()功能
2015/07/14 HTML / CSS
html5 Canvas画图教程(1)—画图的基本常识
2013/01/09 HTML / CSS
德国大型和小型家用电器网上商店:Energeto
2019/05/15 全球购物
求职信写作要突出重点
2014/01/01 职场文书
元旦活动感言
2014/03/08 职场文书
大学生入党推荐书范文
2014/05/17 职场文书
学习型家庭事迹材料
2014/12/20 职场文书
党员争先创优承诺书
2015/01/20 职场文书
培训班通知
2015/04/25 职场文书
会计岗位工作总结
2015/08/12 职场文书
windows下快速安装nginx并配置开机自启动的方法
2021/05/11 Servers
浅谈Redis主从复制以及主从复制原理
2021/05/29 Redis
详解Python常用的魔法方法
2021/06/03 Python
HTML+JS实现在线朗读器
2022/02/15 Javascript