Pytorch十九种损失函数的使用详解


Posted in Python onApril 29, 2020

损失函数通过torch.nn包实现,

1 基本用法

criterion = LossCriterion() #构造函数有自己的参数
loss = criterion(x, y) #调用标准时也有参数

2 损失函数

2-1 L1范数损失 L1Loss

计算 output 和 target 之差的绝对值。

torch.nn.L1Loss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-2 均方误差损失 MSELoss

计算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-3 交叉熵损失 CrossEntropyLoss

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

在多分类任务中,经常采用 softmax 激活函数+交叉熵损失函数,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的是向量,并不是概率分布的形式。所以需要 softmax激活函数将一个向量进行“归一化”成概率分布的形式,再采用交叉熵损失函数计算 loss。

Pytorch十九种损失函数的使用详解

torch.nn.CrossEntropyLoss(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
ignore_index (int, optional) ? 设置一个目标值, 该目标值会被忽略, 从而不会影响到 输入的梯度。
reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-4 KL 散度损失 KLDivLoss

计算 input 和 target 之间的 KL 散度。KL 散度可用于衡量不同的连续分布之间的距离, 在连续的输出分布的空间上(离散采样)上进行直接回归时 很有效.

torch.nn.KLDivLoss(reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-5 二进制交叉熵损失 BCELoss

二分类任务时的交叉熵计算函数。用于测量重构的误差, 例如自动编码机. 注意目标的值 t[i] 的范围为0到1之间.

torch.nn.BCELoss(weight=None, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度为 “nbatch” 的 的 Tensor
pos_weight(Tensor, optional) ? 自定义的每个正样本的 loss 的权重. 必须是一个长度 为 “classes” 的 Tensor

2-6 BCEWithLogitsLoss

BCEWithLogitsLoss损失函数把 Sigmoid 层集成到了 BCELoss 类中. 该版比用一个简单的 Sigmoid 层和 BCELoss 在数值上更稳定, 因为把这两个操作合并为一个层之后, 可以利用 log-sum-exp 的 技巧来实现数值稳定.

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

参数:

weight (Tensor, optional) ? 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度 为 “nbatch” 的 Tensor
pos_weight(Tensor, optional) ? 自定义的每个正样本的 loss 的权重. 必须是一个长度 为 “classes” 的 Tensor

2-7 MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')

对于 mini-batch(小批量) 中每个实例的损失函数如下:

Pytorch十九种损失函数的使用详解

参数:

margin:默认值0

2-8 HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0, reduction='mean')

对于 mini-batch(小批量) 中每个实例的损失函数如下:

Pytorch十九种损失函数的使用详解

参数:

margin:默认值1

2-9 多标签分类损失 MultiLabelMarginLoss

torch.nn.MultiLabelMarginLoss(reduction='mean')

对于mini-batch(小批量) 中的每个样本按如下公式计算损失:

Pytorch十九种损失函数的使用详解

2-10 平滑版L1损失 SmoothL1Loss

也被称为 Huber 损失函数。

torch.nn.SmoothL1Loss(reduction='mean')

Pytorch十九种损失函数的使用详解

其中

Pytorch十九种损失函数的使用详解

2-11 2分类的logistic损失 SoftMarginLoss

torch.nn.SoftMarginLoss(reduction='mean')

Pytorch十九种损失函数的使用详解

2-12 多标签 one-versus-all 损失 MultiLabelSoftMarginLoss

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')

Pytorch十九种损失函数的使用详解

2-13 cosine 损失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')

Pytorch十九种损失函数的使用详解

参数:

margin:默认值0

2-14 多类别分类的hinge损失 MultiMarginLoss

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None, reduction='mean')

Pytorch十九种损失函数的使用详解

参数:

p=1或者2 默认值:1
margin:默认值1

2-15 三元组损失 TripletMarginLoss

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean')

Pytorch十九种损失函数的使用详解

其中:

Pytorch十九种损失函数的使用详解

2-16 连接时序分类损失 CTCLoss

CTC连接时序分类损失,可以对没有对齐的数据进行自动对齐,主要用在没有事先对齐的序列化数据训练上。比如语音识别、ocr识别等等。

torch.nn.CTCLoss(blank=0, reduction='mean')

参数:

reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-17 负对数似然损失 NLLLoss

负对数似然损失. 用于训练 C 个类别的分类问题.

torch.nn.NLLLoss(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
ignore_index (int, optional) ? 设置一个目标值, 该目标值会被忽略, 从而不会影响到 输入的梯度.

2-18 NLLLoss2d

对于图片输入的负对数似然损失. 它计算每个像素的负对数似然损失.

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')

参数:

weight (Tensor, optional) ? 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor
reduction-三个值,none: 不使用约简;mean:返回loss和的平均值; sum:返回loss的和。默认:mean。

2-19 PoissonNLLLoss

目标值为泊松分布的负对数似然损失

torch.nn.PoissonNLLLoss(log_input=True, full=False, eps=1e-08, reduction='mean')

参数:

log_input (bool, optional) ? 如果设置为 True , loss 将会按照公 式 exp(input) - target * input 来计算, 如果设置为 False , loss 将会按照 input - target * log(input+eps) 计算.
full (bool, optional) ? 是否计算全部的 loss, i. e. 加上 Stirling 近似项 target * log(target) - target + 0.5 * log(2 * pi * target).
eps (float, optional) ? 默认值: 1e-8

参考资料

pytorch loss function 总结

到此这篇关于Pytorch十九种损失函数的使用详解的文章就介绍到这了,更多相关Pytorch 损失函数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python zip文件 压缩
Dec 24 Python
列举Python中吸引人的一些特性
Apr 09 Python
Python3中详解fabfile的编写
Jun 24 Python
浅析Python四种数据类型
Sep 26 Python
使用numba对Python运算加速的方法
Oct 15 Python
python实现图片彩色转化为素描
Jan 15 Python
解决python3 安装不了PIL的问题
Aug 16 Python
Python 限定函数参数的类型及默认值方式
Dec 24 Python
pytorch使用 to 进行类型转换方式
Jan 08 Python
Django实现whoosh搜索引擎使用jieba分词
Apr 08 Python
Python库skimage绘制二值图像代码实例
Apr 10 Python
Python基于template实现字符串替换
Nov 27 Python
Python格式化输出--%s,%d,%f的代码解析
Apr 29 #Python
Python爬虫工具requests-html使用解析
Apr 29 #Python
Python基于Hypothesis测试库生成测试数据
Apr 29 #Python
基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)
Apr 29 #Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 #Python
Django分组聚合查询实例分享
Apr 29 #Python
python中sympy库求常微分方程的用法
Apr 28 #Python
You might like
php和jquery实现地图区域数据统计展示数据示例
2014/02/12 PHP
php判断邮箱地址是否存在的方法
2016/02/13 PHP
php中curl和soap方式请求服务超时问题的解决
2018/06/11 PHP
tp5(thinkPHP5框架)captcha验证码配置及验证操作示例
2019/05/28 PHP
解决thinkPHP 5 nginx 部署时,只跳转首页的问题
2019/10/16 PHP
浅谈Javascript鼠标和滚轮事件
2012/06/27 Javascript
jquery select动态加载选择(兼容各种浏览器)
2013/02/01 Javascript
JS实现悬浮移动窗口(悬浮广告)的特效
2013/03/12 Javascript
jQuery 遍历-nextUntil()方法以及prevUntil()方法的使用介绍
2013/04/26 Javascript
使用jQuery UI的tooltip函数修饰title属性的气泡悬浮框
2013/06/24 Javascript
JavaScript实现可拖拽的拖动层Div实例
2015/08/05 Javascript
详解jQuery中的元素的属性和相关操作
2015/08/14 Javascript
AngularJS基础教程之简单介绍
2015/09/27 Javascript
深入浅析JavaScript函数前面的加号和叹号
2016/07/09 Javascript
深入理解javascript作用域第二篇之词法作用域和动态作用域
2016/07/24 Javascript
深入浅析JS Function()构造函数
2016/08/22 Javascript
原生js仿浏览器滚动条效果
2017/03/02 Javascript
详解Vue 事件驱动和依赖追踪
2017/04/22 Javascript
基于Vue渲染与插件的加载顺序的问题详解
2018/03/05 Javascript
小程序input数据双向绑定实现方法
2019/10/17 Javascript
javascript实现移动端上传图片功能
2020/08/18 Javascript
[46:55]Ti4 冒泡赛第二轮 LGD vs C9
2014/07/14 DOTA
[02:42]DOTA2城市挑战赛收官在即 四强之争风起云涌
2018/06/05 DOTA
速记Python布尔值
2017/11/09 Python
pytorch数据预处理错误的解决
2020/02/20 Python
python编程的核心知识点总结
2021/02/08 Python
html5手机端页面可以向右滑动导致样式受影响的问题
2018/06/20 HTML / CSS
俄罗斯和世界各地的酒店预订:Hotels.com俄罗斯
2016/08/19 全球购物
中国最大隐形眼镜网上商城:视客眼镜网
2016/10/30 全球购物
我的珠宝盒:Ma boîte à bijoux
2019/08/27 全球购物
《有趣的发现》教学反思
2014/04/15 职场文书
给学校建议书范文
2014/05/13 职场文书
人事任命书范文
2014/06/04 职场文书
单位推荐信范文
2015/03/27 职场文书
如何书写民事调解协议书?
2019/06/25 职场文书
nginx安装以及配置的详细过程记录
2021/09/15 Servers