Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python调用cmd复制文件代码分享
Dec 27 Python
Python实现的双色球生成功能示例
Dec 18 Python
python绘制条形图方法代码详解
Dec 19 Python
pandas求两个表格不相交的集合方法
Dec 08 Python
pyqt5实现绘制ui,列表窗口,滚动窗口显示图片的方法
Jun 20 Python
python解析xml简单示例
Jun 21 Python
python3 自动识别usb连接状态,即对usb重连的判断方法
Jul 03 Python
Python中的self用法详解
Aug 06 Python
python导入不同目录下的自定义模块过程解析
Nov 18 Python
python针对Oracle常见查询操作实例分析
Apr 30 Python
通过案例解析python鸭子类型相关原理
Oct 10 Python
python Scrapy框架原理解析
Jan 04 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
CentOS 上搭建 PHP7 开发测试环境
2017/02/26 PHP
php进程daemon化的正确实现方法
2018/09/06 PHP
YII2框架中日志的配置与使用方法实例分析
2020/03/18 PHP
Yii框架应用组件用法实例分析
2020/05/15 PHP
JS Timing
2007/04/21 Javascript
JavaScript聚焦于第一个字段的代码
2010/10/15 Javascript
JavaScript.The.Good.Parts阅读笔记(一)假值与===运算符
2010/11/16 Javascript
Node.js事件循环(Event Loop)和线程池详解
2015/01/28 Javascript
zTree插件下拉树使用入门教程
2016/04/11 Javascript
Bootstrap进度条学习使用
2017/02/09 Javascript
easyui关于validatebox实现多重规则验证的方法(必看)
2017/04/12 Javascript
解决ionic和angular上拉加载的问题
2017/08/03 Javascript
javascript基础进阶_深入剖析执行环境及作用域链
2017/09/05 Javascript
Vue 过滤器filters及基本用法
2017/12/26 Javascript
Node.js中的child_process模块详解
2018/06/08 Javascript
vue项目打包部署_nginx代理访问方法详解
2018/09/20 Javascript
Vue基本使用之对象提供的属性功能
2019/04/30 Javascript
NodeJs 模仿SIP话机注册的方法
2019/06/21 NodeJs
Element-UI+Vue模式使用总结
2020/01/02 Javascript
python线程锁(thread)学习示例
2013/12/04 Python
scrapy自定义pipeline类实现将采集数据保存到mongodb的方法
2015/04/16 Python
pyspark 读取csv文件创建DataFrame的两种方法
2018/06/07 Python
Python获取网段内ping通IP的方法
2019/01/31 Python
对python中字典keys,values,items的使用详解
2019/02/03 Python
详解Python文件修改的两种方式
2019/08/22 Python
安装完Python包然后找不到模块的解决步骤
2020/02/13 Python
在PyCharm中遇到pip安装 失败问题及解决方案(pip失效时的解决方案)
2020/03/10 Python
Python实现动态循环输出文字功能
2020/05/07 Python
公司应聘自荐书
2014/06/14 职场文书
化工见习报告范文
2014/10/31 职场文书
导游词怎么写
2015/02/04 职场文书
2016年“节能宣传周”活动总结
2016/04/05 职场文书
如何自己动手写SQL执行引擎
2021/06/02 MySQL
MySQL系列之十一 日志记录
2021/07/02 MySQL
关于python中模块和重载的问题
2021/11/02 Python
nginx中封禁ip和允许内网ip访问的实现示例
2022/03/17 Servers