Pytorch训练过程出现nan的解决方式


Posted in Python onJanuary 02, 2020

今天使用shuffleNetV2+,使用自己的数据集,遇到了loss是nan的情况,而且top1精确率出现断崖式上升,这显示是不正常的。

Pytorch训练过程出现nan的解决方式

在网上查了下解决方案。我的问题是出在学习率上了。

我自己做的样本数据集比较小,就三类,每类大概三百多张,初始学习率是0.5。后来设置为0.1就解决了。

按照解决方案上写的。出现nan的情况还有以下几种:

学习率太大,但是样本数据集又很小。(我的情况)

自定义的loss除以了一个很小的数字,小到接近0。

数据不干净,数据本身就有nan,可以用numpy.isnan检查。

target,即label是大于等于0的。从1到类别数目-1变化。

以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中线程编程之threading模块的使用详解
Jun 23 Python
Python3.5编程实现修改IIS WEB.CONFIG的方法示例
Aug 18 Python
Python实现时钟显示效果思路详解
Apr 11 Python
Python使用add_subplot与subplot画子图操作示例
Jun 01 Python
numpy.array 操作使用简单总结
Nov 08 Python
Python 函数绘图及函数图像微分与积分
Nov 20 Python
Pytorch 卷积中的 Input Shape用法
Jun 29 Python
Python爬虫scrapy框架Cookie池(微博Cookie池)的使用
Jan 13 Python
Python 无限级分类树状结构生成算法的实现
Jan 21 Python
PyQt 如何创建自定义QWidget
Mar 24 Python
Python+Matplotlib图像上指定坐标的位置添加文本标签与注释
Apr 11 Python
利用Python脚本写端口扫描器socket,python-nmap
Jul 23 Python
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
Jan 02 #Python
基于MSELoss()与CrossEntropyLoss()的区别详解
Jan 02 #Python
python使用SQLAlchemy操作MySQL
Jan 02 #Python
pytorch 实现cross entropy损失函数计算方式
Jan 02 #Python
Matplotlib scatter绘制散点图的方法实现
Jan 02 #Python
Python基础之函数基本用法与进阶详解
Jan 02 #Python
Python面向对象原理与基础语法详解
Jan 02 #Python
You might like
php图片验证码代码
2008/03/27 PHP
PHP session_start()问题解疑(详细介绍)
2013/07/05 PHP
PHP函数超时处理方法
2016/02/14 PHP
php封装的mongodb操作类代码
2017/08/06 PHP
JavaScript-世界上误解最深的语言分析
2007/08/12 Javascript
原生JavaScript实现连连看游戏(附源码)
2013/11/05 Javascript
判断日期是否能跨月查询的js代码
2014/07/25 Javascript
js在IE与firefox的差异集锦
2014/11/11 Javascript
浅谈JSON和JSONP区别及jQuery的ajax jsonp的使用
2014/11/23 Javascript
JS中处理时间之setUTCMinutes()方法的使用
2015/06/12 Javascript
js限制文本框只能输入中文的方法
2015/08/11 Javascript
js电话号码验证方法
2015/09/28 Javascript
基于Jquery代码实现支持PC端手机端幻灯片代码
2015/11/17 Javascript
使用jQuery操作HTML的table表格的实例解析
2016/03/13 Javascript
bootstrap laydate日期组件使用详解
2017/01/04 Javascript
详解angularJs指令的3种绑定策略
2017/04/13 Javascript
Vue2.0 多 Tab切换组件的封装实例
2017/07/28 Javascript
[36:37]2014 DOTA2华西杯精英邀请赛5 24 VG VS iG
2014/05/25 DOTA
Django实现自定义404,500页面教程
2017/03/26 Python
python使用openpyxl库修改excel表格数据方法
2018/05/03 Python
python爬虫之模拟登陆csdn的实例代码
2018/05/18 Python
浅谈Python编程中3个常用的数据结构和算法
2019/04/30 Python
python里dict变成list实例方法
2019/06/26 Python
详解Python中的各种转义符\n\r\t
2019/07/10 Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
2019/08/19 Python
解决python3 requests headers参数不能有中文的问题
2019/08/21 Python
使用Python为中秋节绘制一块美味的月饼
2019/09/11 Python
Python pandas如何向excel添加数据
2020/05/22 Python
使用Python-OpenCV消除图像中孤立的小区域操作
2020/07/05 Python
详解HTML5 canvas绘图基本使用方法
2018/01/29 HTML / CSS
html5 Canvas画图教程(3)—canvas出现1像素线条模糊不清的原因
2013/01/09 HTML / CSS
幼儿园师德师风学习材料
2014/05/29 职场文书
组织生活会表态发言材料
2014/10/17 职场文书
mysql部分操作
2021/04/05 MySQL
一篇文章带你掌握SQLite3基本用法
2022/06/14 数据库
html解决浏览器记住密码输入框的问题
2023/05/07 HTML / CSS