Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python检测lvs real server状态
Jan 22 Python
Python对列表排序的方法实例分析
May 16 Python
Python实现邮件的批量发送的示例代码
Jan 23 Python
基于python 爬虫爬到含空格的url的处理方法
May 11 Python
python使用time、datetime返回工作日列表实例代码
May 09 Python
在django模板中实现超链接配置
Aug 21 Python
Python多线程操作之互斥锁、递归锁、信号量、事件实例详解
Mar 24 Python
Python 字典一个键对应多个值的方法
Sep 29 Python
Anaconda的安装与虚拟环境建立
Nov 18 Python
python全栈开发语法总结
Nov 22 Python
django上传文件的三种方式
Apr 29 Python
PyTorch梯度裁剪避免训练loss nan的操作
May 24 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
从零开始学YII2框架(四)扩展插件yii2-kartikgii
2014/08/20 PHP
ThinkPHP3.2.3实现分页的方法详解
2016/06/03 PHP
Windows下php+mysql5.7配置教程
2017/05/16 PHP
利用PHP内置SERVER开启web服务(本地开发使用)
2020/01/22 PHP
thinkphp框架无限级栏目的排序功能实现方法示例
2020/03/29 PHP
javascript 函数速查表
2010/02/07 Javascript
网站页面自动跳转实现方法PHP、JSP(下)
2010/08/01 Javascript
node.js中的fs.mkdir方法使用说明
2014/12/17 Javascript
Javascript基础教程之函数对象和属性
2015/01/18 Javascript
JS组件中bootstrap multiselect两大组件较量
2016/01/26 Javascript
jQuery插件echarts实现的循环生成图效果示例【附demo源码下载】
2017/03/04 Javascript
Vue.js仿Metronic高级表格(二)数据渲染
2017/04/19 Javascript
json数据传到前台并解析展示成列表的方法
2018/08/06 Javascript
node.js环境搭建图文详解
2018/09/19 Javascript
Nuxt.js开启SSR渲染的教程详解
2018/11/30 Javascript
微信小程序开发实现的选项卡(窗口顶部/底部TabBar)页面切换功能图文详解
2019/05/14 Javascript
关于layui的动态图标不显示的解决方法
2019/09/04 Javascript
Vue开发环境跨域访问问题
2020/01/22 Javascript
ESLint 是如何检查 .vue 文件的
2020/11/30 Vue.js
wxpython 最小化到托盘与欢迎图片的实现方法
2014/06/09 Python
Python实现建立SSH连接的方法
2015/06/03 Python
浅谈Python反射 & 单例模式
2019/03/21 Python
python 实现将Numpy数组保存为图像
2020/01/09 Python
Python 日期的转换及计算的具体使用详解
2020/01/16 Python
python 命名规范知识点汇总
2020/02/14 Python
python3利用Axes3D库画3D模型图
2020/03/25 Python
pytorch SENet实现案例
2020/06/24 Python
Python matplotlib读取excel数据并用for循环画多个子图subplot操作
2020/07/14 Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
2020/09/25 Python
西班牙电子产品购物网站:Electronicamente
2018/07/26 全球购物
文明村创建实施方案
2014/03/27 职场文书
雷人标语集锦
2014/06/19 职场文书
美丽人生观后感
2015/06/03 职场文书
爱的教育观后感
2015/06/17 职场文书
入党转正申请书范文
2019/05/20 职场文书
2019年朋友圈经典励志语录50条
2019/07/05 职场文书