在PyTorch中使用标签平滑正则化的问题


Posted in Python onApril 03, 2020

什么是标签平滑?在PyTorch中如何去使用它?

在训练深度学习模型的过程中,过拟合和概率校准(probability calibration)是两个常见的问题。一方面,正则化技术可以解决过拟合问题,其中较为常见的方法有将权重调小,迭代提前停止以及丢弃一些权重等。另一方面,Platt标度法和isotonic regression法能够对模型进行校准。但是有没有一种方法可以同时解决过拟合和模型过度自信呢?

标签平滑也许可以。它是一种去改变目标变量的正则化技术,能使模型的预测结果不再仅为一个确定值。标签平滑之所以被看作是一种正则化技术,是因为它可以防止输入到softmax函数的最大logits值变得特别大,从而使得分类模型变得更加准确。

在这篇文章中,我们定义了标签平滑化,在测试过程中我们将它应用到交叉熵损失函数中。

标签平滑?

假设这里有一个多分类问题,在这个问题中,目标变量通常是一个one-hot向量,即当处于正确分类时结果为1,否则结果是0。

标签平滑改变了目标向量的最小值,使它为ε。因此,当模型进行分类时,其结果不再仅是1或0,而是我们所要求的1-ε和ε,从而带标签平滑的交叉熵损失函数为如下公式。

在PyTorch中使用标签平滑正则化的问题

在这个公式中,ce(x)表示x的标准交叉熵损失函数,例如:-log(p(x)),ε是一个非常小的正数,i表示对应的正确分类,N为所有分类的数量。

直观上看,标记平滑限制了正确类的logit值,并使得它更接近于其他类的logit值。从而在一定程度上,它被当作为一种正则化技术和一种对抗模型过度自信的方法。

PyTorch中的使用

在PyTorch中,带标签平滑的交叉熵损失函数实现起来非常简单。首先,让我们使用一个辅助函数来计算两个值之间的线性组合。

deflinear_combination(x, y, epsilon):return epsilon*x + (1-epsilon)*y

下一步,我们使用PyTorch中一个全新的损失函数:nn.Module.

import torch.nn.functional as F
defreduce_loss(loss, reduction='mean'):return loss.mean() if reduction=='mean'else loss.sum() if reduction=='sum'else loss
classLabelSmoothingCrossEntropy(nn.Module):def__init__(self, epsilon:float=0.1, reduction='mean'):
    super().__init__()
    self.epsilon = epsilon
    self.reduction = reduction

  defforward(self, preds, target):
    n = preds.size()[-1]
    log_preds = F.log_softmax(preds, dim=-1)
    loss = reduce_loss(-log_preds.sum(dim=-1), self.reduction)
    nll = F.nll_loss(log_preds, target, reduction=self.reduction)
    return linear_combination(loss/n, nll, self.epsilon)

我们现在可以在代码中删除这个类。对于这个例子,我们使用标准的fast.ai pets example.

from fastai.vision import *
from fastai.metrics import error_rate
# prepare the data
path = untar_data(URLs.PETS)
path_img = path/'images'
fnames = get_image_files(path_img)
bs = 64
np.random.seed(2)
pat = r'/([^/]+)_\d+.jpg$'
data = ImageDataBunch.from_name_re(path_img, fnames, pat, ds_tfms=get_transforms(), size=224, bs=bs) \
           .normalize(imagenet_stats)
# train the model
learn = cnn_learner(data, models.resnet34, metrics=error_rate)
learn.loss_func = LabelSmoothingCrossEntropy()
learn.fit_one_cycle(4)

最后将数据转换成模型可以使用的格式,选择ResNet架构并以带标签平滑的交叉熵损失函数作为优化目标。经过四轮循环后,其结果如下

在PyTorch中使用标签平滑正则化的问题

我们所得结果的错误率仅为7.5%,这对于10行左右的代码来说是完全可以接受的,并且在模型中大多数参数还都选择的是默认设置。

因此,在模型中还有许多参数可以进行调整,从而使得模型的表现性能更好,例如:可以使用不同的优化器、超参数、模型架构等。

结论

在这篇文章中,我们了解了什么是标签平滑以及什么时候去使用它,并且我们还知道了如何在PyTorch中实现它。之后,我们训练了一个先进的计算机视觉模型,仅使用十行代码就识别出了不同品种的猫和狗。

模型正则化和模型校准是两个重要的概念。若想成为一个深度学习的资深玩家,就应该好好地去理解这些能够对抗过拟合和模型过度自信的工具。

作者简介: Dimitris Poulopoulos,是BigDataStack的一名机器学习研究员,同时也是希腊Piraeus大学的博士。曾为欧盟委员会、欧盟统计局、国际货币基金组织、欧洲央行等客户设计过与AI相关的软件。

总结

到此这篇关于如何在PyTorch中使用标签平滑正则化的文章就介绍到这了,更多相关PyTorch正则化内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中的yield使用方法
Feb 11 Python
浅谈Django REST Framework限速
Dec 12 Python
python学生管理系统代码实现
Apr 05 Python
Python爬虫使用脚本登录Github并查看信息
Jul 16 Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 Python
python实现年会抽奖程序
Jan 22 Python
Python django框架开发发布会签到系统(web开发)
Feb 12 Python
Python打包模块wheel的使用方法与将python包发布到PyPI的方法详解
Feb 12 Python
如何在Windows中安装多个python解释器
Jun 16 Python
Python如何读取、写入CSV数据
Jul 28 Python
python接口自动化之ConfigParser配置文件的使用详解
Aug 03 Python
python Paramiko使用示例
Sep 21 Python
pip install 使用国内镜像的方法示例
Apr 03 #Python
pycharm解决关闭flask后依旧可以访问服务的问题
Apr 03 #Python
Windows+Anaconda3+PyTorch+PyCharm的安装教程图文详解
Apr 03 #Python
基于python图像处理API的使用示例
Apr 03 #Python
解决json中ensure_ascii=False的问题
Apr 03 #Python
基于Python的OCR实现示例
Apr 03 #Python
Python %r和%s区别代码实例解析
Apr 03 #Python
You might like
php/js获取客户端mac地址的实现代码
2013/07/08 PHP
用JavaScript和注册表脚本实现右键收藏Web页选中文本
2007/01/28 Javascript
JavaScript 脚本将当地时间转换成其它时区
2009/03/19 Javascript
一个JS小玩意 几个属性相加不能超过一个特定值.
2009/09/29 Javascript
Jquery 动态添加按钮实现代码
2010/05/06 Javascript
利用jQuery接受和处理xml数据的代码(.net)
2011/03/28 Javascript
javascript根据像素点取位置示例
2014/01/27 Javascript
JavaScript检测并限制复选框选中个数的方法
2015/08/12 Javascript
全面解析Bootstrap中Carousel轮播的使用方法
2016/06/13 Javascript
微信小程序 wxapp视图容器 view详解
2016/10/31 Javascript
AngularJS入门教程之表单校验用法示例
2016/11/02 Javascript
详解Angular的双向数据绑定(MV-VM)
2016/12/26 Javascript
Javascript之图片的延迟加载的实例详解
2017/07/24 Javascript
使用D3.js创建物流地图的示例代码
2018/01/27 Javascript
Vue-cli中为单独页面设置背景色的实现方法
2018/02/11 Javascript
vue 使用自定义指令实现表单校验的方法
2018/08/28 Javascript
如何实现小程序tab栏下划线动画效果
2019/05/18 Javascript
js实现QQ邮箱邮件拖拽删除功能
2020/08/27 Javascript
[55:44]OG vs NAVI 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/17 DOTA
Django实现学员管理系统
2019/02/26 Python
Python实现的远程文件自动打包并下载功能示例
2019/07/12 Python
python__name__原理及用法详解
2019/11/02 Python
Python爬虫基于lxml解决数据编码乱码问题
2020/07/31 Python
HTML5 视频播放(video),JavaScript控制视频的实例代码
2018/10/08 HTML / CSS
现代生活方式的家具和装饰:Dot & Bo
2018/12/26 全球购物
匡威爱尔兰官网:Converse爱尔兰
2019/06/09 全球购物
Booking.com德国:预订最好的酒店和住宿
2020/02/16 全球购物
军训感想500字
2014/02/20 职场文书
老师对学生的评语
2014/04/18 职场文书
创意婚礼策划方案
2014/05/18 职场文书
董事长助理工作职责
2014/06/08 职场文书
关于美容院的活动方案
2014/08/14 职场文书
2014年科室工作总结
2014/11/20 职场文书
实习指导教师评语
2014/12/30 职场文书
大学新生入学感想
2015/08/07 职场文书
SQL Server 中的事务介绍
2022/05/20 SQL Server