Pytorch十九种损失函数的使用详解


Posted in Python onApril 29, 2020

损失函数通过torch.nn包实现,

1 基本用法

criterion = LossCriterion() #构造函数有自己的参数
loss = criterion(x, y) #调用标准时也有参数

2 损失函数

2-1 L1范数损失 L1Loss

计算 output 和 target 之差的绝对值。

torch.nn.L1Loss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-2 均方误差损失 MSELoss

计算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-3 交叉熵损失 CrossEntropyLoss

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

在多分类任务中,经常采用 softmax 激活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的是向量,并不是概率分布的形式。所以需要 softmax激活函数将一个向量进行“归一化”成概率分布的形式,再采用交叉熵损失函数计算 loss。

Pytorch十九种损失函数的使用详解

torch.nn.CrossEntropyLoss(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
ignore_index (int, optional) ? 设置一个目标值, 该目标值会被忽略, 从而不会影响到 输入的梯度。
reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-4 KL 散度损失 KLDivLoss

计算 input 和 target 之间的 KL 散度。KL 散度可用于衡量不同的连续分布之间的距离, 在连续的输出分布的空间上(离散采样)上进行直接回归时 很有效.

torch.nn.KLDivLoss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-5 二进制交叉熵损失 BCELoss

二分类任务时的交叉熵计算函数。用于测量重构的误差, 例如自动编码机. 注意目标的值 t[i] 的范围为0到1之间.

torch.nn.BCELoss(weight=None, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度为 “nbatch” 的 的 Tensor
pos_weight(Tensor, optional) ? 自定义的每个正样本的 loss 的权重. 必须是一个长度 为 “classes” 的 Tensor

2-6 BCEWithLogitsLoss

BCEWithLogitsLoss损失函数把 Sigmoid 层集成到了 BCELoss 类中. 该版比用一个简单的 Sigmoid 层和 BCELoss 在数值上更稳定, 因为把这两个操作合并为一个层之后, 可以利用 log-sum-exp 的 技巧来实现数值稳定.

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

参数:

weight (Tensor, optional) ? 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度 为 “nbatch” 的 Tensor
pos_weight(Tensor, optional) ? 自定义的每个正样本的 loss 的权重. 必须是一个长度 为 “classes” 的 Tensor

2-7 MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')

对于 mini-batch(小批量) 中每个实例的损失函数如下:

Pytorch十九种损失函数的使用详解

参数:

margin:默认值0

2-8 HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0, reduction='mean')

对于 mini-batch(小批量) 中每个实例的损失函数如下:

Pytorch十九种损失函数的使用详解

参数:

margin:默认值1

2-9 多标签分类损失 MultiLabelMarginLoss

torch.nn.MultiLabelMarginLoss(reduction='mean')

对于mini-batch(小批量) 中的每个样本按如下公式计算损失:

Pytorch十九种损失函数的使用详解

2-10 平滑版L1损失 SmoothL1Loss

也被称为 Huber 损失函数。

torch.nn.SmoothL1Loss(reduction='mean')

Pytorch十九种损失函数的使用详解

其中

Pytorch十九种损失函数的使用详解

2-11 2分类的logistic损失 SoftMarginLoss

torch.nn.SoftMarginLoss(reduction='mean')

Pytorch十九种损失函数的使用详解

2-12 多标签 one-versus-all 损失 MultiLabelSoftMarginLoss

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')

Pytorch十九种损失函数的使用详解

2-13 cosine 损失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')

Pytorch十九种损失函数的使用详解

参数:

margin:默认值0

2-14 多类别分类的hinge损失 MultiMarginLoss

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None, reduction='mean')

Pytorch十九种损失函数的使用详解

参数:

p=1或者2 默认值:1
margin:默认值1

2-15 三元组损失 TripletMarginLoss

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean')

Pytorch十九种损失函数的使用详解

其中:

Pytorch十九种损失函数的使用详解

2-16 连接时序分类损失 CTCLoss

CTC连接时序分类损失,可以对没有对齐的数据进行自动对齐,主要用在没有事先对齐的序列化数据训练上。比如语音识别、ocr识别等等。

torch.nn.CTCLoss(blank=0, reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-17 负对数似然损失 NLLLoss

负对数似然损失. 用于训练 C 个类别的分类问题.

torch.nn.NLLLoss(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
ignore_index (int, optional) ? 设置一个目标值, 该目标值会被忽略, 从而不会影响到 输入的梯度.

2-18 NLLLoss2d

对于图片输入的负对数似然损失. 它计算每个像素的负对数似然损失.

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-19 PoissonNLLLoss

目标值为泊松分布的负对数似然损失

torch.nn.PoissonNLLLoss(log_input=True, full=False, eps=1e-08, reduction='mean')

参数:

log_input (bool, optional) ? 如果设置为 True , loss 将会按照公 式 exp(input) - target * input 来计算, 如果设置为 False , loss 将会按照 input - target * log(input+eps) 计算.
full (bool, optional) ? 是否计算全部的 loss, i. e. 加上 Stirling 近似项 target * log(target) - target + 0.5 * log(2 * pi * target).
eps (float, optional) ? 默认值: 1e-8

参考资料

pytorch loss function 总结

到此这篇关于Pytorch十九种损失函数的使用详解的文章就介绍到这了,更多相关Pytorch 损失函数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python利用matplotlib生成图片背景及图例透明的效果
Apr 27 Python
python删除本地夹里重复文件的方法
Nov 19 Python
python3+PyQt5 自定义窗口部件--使用窗口部件样式表的方法
Jun 26 Python
Python循环结构的应用场景详解
Jul 11 Python
Python产生一个数值范围内的不重复的随机数的实现方法
Aug 21 Python
Python爬虫实现的根据分类爬取豆瓣电影信息功能示例
Sep 15 Python
Python实现串口通信(pyserial)过程解析
Sep 25 Python
使用Python实现分别输出每个数组
Dec 06 Python
python opencv 图像边框(填充)添加及图像混合的实现方法(末尾实现类似幻灯片渐变的效果)
Mar 09 Python
Pytorch学习之torch用法----比较操作(Comparison Ops)
Jun 28 Python
Python OpenCV中的numpy与图像类型转换操作
Dec 11 Python
pytorch 预训练模型读取修改相关参数的填坑问题
Jun 05 Python
Python格式化输出--%s,%d,%f的代码解析
Apr 29 #Python
Python爬虫工具requests-html使用解析
Apr 29 #Python
Python基于Hypothesis测试库生成测试数据
Apr 29 #Python
基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)
Apr 29 #Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 #Python
Django分组聚合查询实例分享
Apr 29 #Python
python中sympy库求常微分方程的用法
Apr 28 #Python
You might like
DC宇宙的第一个英雄,堪称动漫史鼻祖,如今成为美国文化的象征
2020/04/09 欧美动漫
一个用于MySQL的PHP XML类
2006/10/09 PHP
PHP实现获取图片颜色值的方法
2014/07/11 PHP
用js实现随机返回数组的一个元素
2007/08/13 Javascript
css把超出的部分显示为省略号的方法兼容火狐
2008/07/23 Javascript
javascript取消文本选定的实现代码
2010/11/14 Javascript
jQuery中:disabled选择器用法实例
2015/01/04 Javascript
jquery实现实时改变网页字体大小、字体背景色和颜色的方法
2015/08/05 Javascript
HTML页面,测试JS对C函数的调用简单实例
2016/08/09 Javascript
详解vue嵌套路由-query传递参数
2017/05/23 Javascript
微信小程序之绑定点击事件实例详解
2017/07/07 Javascript
JS原生数据双向绑定实现代码
2017/08/14 Javascript
vue 中directive功能的简单实现
2018/01/05 Javascript
js循环map 获取所有的key和value的实现代码(json)
2018/05/09 Javascript
微信小程序实现限制用户转发功能的实例代码
2020/02/22 Javascript
在Angular中实现一个级联效果的下拉框的示例代码
2020/05/20 Javascript
解决vue使用vant轮播组件swipe + flex时文字抖动问题
2021/01/07 Vue.js
python教程之用py2exe将PY文件转成EXE文件
2014/06/12 Python
在Python中使用dict和set方法的教程
2015/04/27 Python
python实现在sqlite动态创建表的方法
2015/05/08 Python
Python的pycurl包用法简介
2015/11/13 Python
Python多进程同步简单实现代码
2016/04/27 Python
pyqt5实现按钮添加背景图片以及背景图片的切换方法
2019/06/13 Python
利用python list完成最简单的DB连接池方法
2019/08/09 Python
Python如何使用队列方式实现多线程爬虫
2020/05/12 Python
Python使用内置函数setattr设置对象的属性值
2020/10/16 Python
python statsmodel的使用
2020/12/21 Python
美国女性运动零售品牌:Lady Foot Locker
2017/05/12 全球购物
世界上获奖最多的手机镜头:Olloclip
2018/03/03 全球购物
3个CCIE对一个工程师的面试题
2012/05/06 面试题
行政助理岗位职责
2013/11/10 职场文书
哈弗商学院毕业生求职信
2014/02/26 职场文书
《桥》教学反思
2014/04/09 职场文书
港澳通行证委托书怎么写
2014/08/02 职场文书
合法的离婚协议书范本
2014/10/23 职场文书
《卖火柴的小女孩》教学反思
2016/02/19 职场文书