记录模型训练时loss值的变化情况


Posted in Python onJune 16, 2020

记录训练过程中的每一步的loss变化

if verbose and step % verbose == 0:
 sys.stdout.write('\r{} / {} : loss = {}'.format(
  step, total_steps, np.mean(total_loss)))
 sys.stdout.flush()
 if verbose:
 sys.stdout.write('\r') 
 sys.stdout.flush()

一般我们在训练神经网络模型的时候,都是每隔多少步,输出打印一下loss或者每一步打印一下loss,今天发现了另一种记录loss变化的方法,就是用

sys.stdout.write('\r{} / {} : loss = {}')

如图上的代码,可以记录每一个在每个epoch中记录用一行输出就可以记录每个step的loss值变化,

\r就是输出不会换行,因此如果你想同一样输出多次,在需要输出的字符串对象里面加上"\r",就可以回到行首了。

sys.stdout.flush() #一秒输出了一个数字

具体的实现就是下面的图:

记录模型训练时loss值的变化情况

这样在每个epoch中也可以观察loss变化,但是只需要打印一行,而不是每一行都输出。

补充知识:训练模型中损失(loss)异常分析

前言

训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数(epoch)的增加而缓慢下降,然后趋于稳定。虽然在模型训练的初始阶段,loss有可能会出现大幅度震荡变化,但是只要数据量充分,模型正确,训练的轮数足够长,模型最终会达到收敛状态,接近最优值或者找到了某个局部最优值。在模型实际训练过程中,可能会得到一些异常loss值,如loss等于nan;loss值忽大忽小,不收敛等。

下面根据自己使用Pythorh训练模型的经验,分析出一些具体原因和给出对应的解决办法。

一、输入数据

1. 数据的预处理

输入到模型的数据一般都是经过了预处理的,如用pandas先进行数据处理,尤其要注意空值,缺失值,异常值。

缺失值:数值类型(NaN),对象类型(None, NaN),时间类型(NaT)

空值:""

异常值:不再正常区间范围的值

例如对缺失值可以进行判断df.isnull()或者df.isna();丢弃df.dropna();填充df.fillna()等操作。

输入到模型中的数据一般而言都是数值类型的值,一定要保证不能出现NaN, numpy中的nan是一种特殊的float,该值数值运算的结果是不正常的,所以可能会导致loss值等于nan。可以用numpy.any(numpy.isnan(x))检查一下input和target。

2. 数据的读写

例如使用Pandas读取.csv类型的数据得到的DataFrame会添加默认的index,再写回到磁盘会多一列。如果用其他读取方式再读入,可能会导致数据有问题,读取到NaN。

import pandas as pd
 
Output = pd.read_csv('./data/diabetes/Output.csv')
trainOutput, testOutput = Output[:6000], Output[6000:]
trainOutput.to_csv('./data/diabetes/trainOutput.csv')
testOutput.to_csv('./data/diabetes/testOutput.csv')

记录模型训练时loss值的变化情况

3. 数据的格式

Pythorch中的 torch.utils.data.Dataset 类是一个表示数据集的抽象类。自己数据集的类应该继承自 Dataset 并且重写__len__方法和__getitem__方法:

__len__ : len(dataset) 返回数据集的大小

__getitem__ :用以支持索引操作, dataset[idx]能够返回第idx个样本数据

然后使用torch.utils.data.DataLoader 这个迭代器(iterator)来遍历所有的特征。具体可以参见这里

在构造自己Dataset类时,需要注意返回的数据格式和类型,一般不会出现NaN的情况但是可能会导致数据float, int, long这几种类型的不兼容,注意转换。

二、学习率

基于梯度下降的优化方法,当学习率太高时会导致loss值不收敛,太低则下降缓慢。需要对学习率等超参数进行调参如使用网格搜索,随机搜索等。

三、除零错

对于回归问题,可能出现了除0 的计算,加一个很小的余项可能可以解决。类似于计算概率时进行的平滑修正,下面的代码片段中loss使用交叉混合熵(CossEntropy),计算3分类问题的AUC值,为了避免概率计算出现NaN而采取了相应的平滑处理。

from sklearn.metrics import roc_auc_score
 
model_ft, y_true, losslists = test_model(model_ft, criterion, optimizer)
n_class = 3
y_one_hot = np.eye(n_class)[y_true.reshape(-1)]
# solve divide zero errot
eps = 0.0000001
y_scores = losslists / (losslists.sum(axis=1, keepdims=True)+eps)
#print(y_scores)
#print(np.isnan(y_scores))
"""
metrics.roc_auc_score(y_one_hot, y_pred)
"""
print("auc: ")
roc_auc_score(y_one_hot, y_scores)

四、loss函数

loss函数代码编写不正确或者已经编写好的loss函数API使用不清楚

五、某些易错代码

Pytorch在进行自动微分的时候,默认梯度是会累加的,所以需要在每个epoch的每个batch中对梯度清零,否则可能会导致loss值不收敛。不要忘记添加如下代码

optimizer.zero_grad()

以上这篇记录模型训练时loss值的变化情况就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
两个使用Python脚本操作文件的小示例分享
Aug 27 Python
python之Socket网络编程详解
Sep 29 Python
Python实现选择排序
Jun 04 Python
python中logging库的使用总结
Oct 18 Python
tensorflow实现加载mnist数据集
Sep 08 Python
Empty test suite.(PyCharm程序运行错误的解决方法)
Nov 30 Python
在Python 中同一个类两个函数间变量的调用方法
Jan 31 Python
Python基于mysql实现学生管理系统
Feb 21 Python
利用Python实现微信找房机器人实例教程
Mar 10 Python
python matplotlib画图库学习绘制常用的图
Mar 19 Python
Python中的十大图像处理工具(小结)
Jun 10 Python
Python字典生成式、集合生成式、生成器用法实例分析
Jan 07 Python
python实现批量转换图片为黑白
Jun 16 #Python
在keras中实现查看其训练loss值
Jun 16 #Python
安装python3.7编译器后如何正确安装opnecv的方法详解
Jun 16 #Python
Keras在训练期间可视化训练误差和测试误差实例
Jun 16 #Python
如何在Windows中安装多个python解释器
Jun 16 #Python
使用pyplot.matshow()函数添加绘图标题
Jun 16 #Python
浅谈matplotlib中FigureCanvasXAgg的用法
Jun 16 #Python
You might like
PHP下通过file_get_contents的代理使用方法
2011/02/16 PHP
实测在class的function中include的文件中非php的global全局环境
2013/07/15 PHP
VPS中使用LNMP安装WordPress教程
2014/12/28 PHP
PHP实现过滤掉非汉字字符只保留中文字符
2015/06/04 PHP
thinkphp中AJAX返回ajaxReturn()方法分析
2016/12/06 PHP
php处理多图上传压缩代码功能
2018/06/13 PHP
可实现多表单提交的javascript函数
2007/08/01 Javascript
用javascript获取textarea中的光标位置
2008/05/06 Javascript
JavaScript数组和循环详解
2015/04/27 Javascript
简单实现异步编程promise模式
2015/07/31 Javascript
JavaScript常用判断写法大全(推荐)
2016/05/30 Javascript
修改Jquery Dialog 位置的实现方法
2016/08/26 Javascript
AngularJS表格样式简单设置方法示例
2017/03/03 Javascript
JavaScript实现图片无缝滚动效果
2017/07/07 Javascript
详解如何使用 vue-cli 开发多页应用
2017/12/16 Javascript
实例详解Node.js 函数
2018/06/10 Javascript
React实现阿里云OSS上传文件的示例
2020/08/10 Javascript
[01:02:18]VGJ.S vs infamous Supermajor 败者组 BO3 第一场 6.4
2018/06/05 DOTA
详解python如何调用C/C++底层库与互相传值
2016/08/10 Python
Python调用C语言的方法【基于ctypes模块】
2018/01/22 Python
TensorFlow打印tensor值的实现方法
2018/07/27 Python
python 列表递归求和、计数、求最大元素的实例
2018/11/28 Python
python utc datetime转换为时间戳的方法
2019/01/15 Python
python numpy实现文件存取的示例代码
2019/05/26 Python
使用 python pyautogui实现鼠标键盘控制功能
2019/08/04 Python
html5摇一摇代码优化包括DeviceMotionEvent等等
2014/09/01 HTML / CSS
荷兰演唱会和体育比赛订票网站:viagogo荷兰
2018/04/08 全球购物
澳洲女装时尚在线:Blue Bungalow
2018/05/05 全球购物
党课学习思想汇报
2014/01/02 职场文书
旅游项目开发策划书
2014/01/18 职场文书
给校长的建议书
2014/03/12 职场文书
职业生涯规划书结束语
2014/04/15 职场文书
学校督导评估方案
2014/06/10 职场文书
道路施工安全责任书
2014/07/24 职场文书
党员批评与自我批评
2014/10/15 职场文书
2015年度物业公司工作总结
2015/04/27 职场文书