Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用C语言来扩展Python程序和Zope服务器的教程
Apr 14 Python
简单谈谈python中的多进程
Nov 06 Python
Python获取当前路径实现代码
May 08 Python
对pandas replace函数的使用方法小结
May 18 Python
Python for循环生成列表的实例
Jun 15 Python
Python实现绘制双柱状图并显示数值功能示例
Jun 23 Python
python设置环境变量的原因和方法
Jun 24 Python
python函数修饰符@的使用方法解析
Sep 02 Python
节日快乐! Python画一棵圣诞树送给你
Dec 24 Python
jupyter notebook 调用环境中的Keras或者pytorch教程
Apr 14 Python
Python魔术方法专题
Jun 19 Python
python连接mysql数据库并读取数据的实现
Sep 25 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
谷歌音乐搜索栏的提示功能php修正代码
2011/05/09 PHP
ThinkPHP模型详解
2015/07/27 PHP
php基于session实现数据库交互的类实例
2015/08/03 PHP
php数据序列化测试实例详解
2017/08/12 PHP
Thinkphp5+uploadify实现的文件上传功能示例
2018/05/26 PHP
PHP使用phpunit进行单元测试示例
2019/09/23 PHP
JavaScript和ActionScript的交互实现代码
2010/08/01 Javascript
Nodejs极简入门教程(一):模块机制
2014/10/25 NodeJs
JS类的定义与使用方法深入探索
2016/11/26 Javascript
JS基于面向对象实现的多个倒计时器功能示例
2017/02/28 Javascript
运用jQuery写的验证表单(实例讲解)
2017/07/06 jQuery
Cpage.js给组件绑定事件的实现代码
2017/08/31 Javascript
Jquery遍历筛选数组的几种方法和遍历解析json对象,Map()方法详解以及数组中查询某值是否存在
2019/01/18 jQuery
通过JQuery,JQueryUI和Jsplumb实现拖拽模块
2019/06/18 jQuery
Vue实战教程之仿肯德基宅急送App
2019/07/19 Javascript
微信用户访问小程序的登录过程详解
2019/09/20 Javascript
vue+element搭建后台小总结 el-dropdown下拉功能
2020/04/10 Javascript
Vue引入Stylus知识点总结
2020/01/16 Javascript
JavaScript中遍历的十种方法总结
2020/12/15 Javascript
python中Genarator函数用法分析
2015/04/08 Python
Python爬取京东的商品分类与链接
2016/08/26 Python
python 接口_从协议到抽象基类详解
2017/08/24 Python
浅谈Python中range和xrange的区别
2017/12/20 Python
详解Python学习之安装pandas
2019/04/16 Python
django 微信网页授权登陆的实现
2019/07/30 Python
微信端html5页面调用分享接口示例
2018/03/14 HTML / CSS
中文专业毕业生自荐书范文
2014/01/04 职场文书
预备党员政审材料
2014/02/04 职场文书
应届生自荐信
2014/06/30 职场文书
授权委托书范文
2014/07/31 职场文书
高中学生自我评价范文
2014/09/23 职场文书
党员四风问题对照检查材料
2014/09/27 职场文书
2014年党支部工作总结
2014/11/13 职场文书
2015年学校总务处工作总结
2015/05/19 职场文书
美德少年事迹材料(2016推荐版)
2016/02/25 职场文书
聊聊golang中多个defer的执行顺序
2021/05/08 Golang