Keras中的多分类损失函数用法categorical_crossentropy


Posted in Python onJune 11, 2020

from keras.utils.np_utils import to_categorical

注意:当使用categorical_crossentropy损失函数时,你的标签应为多类模式,例如如果你有10个类别,每一个样本的标签应该是一个10维的向量,该向量在对应有值的索引位置为1其余为0。

可以使用这个方法进行转换:

from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=None)

以mnist数据集为例:

from keras.datasets import mnist

(X_train, y_train), (X_test, y_test) = mnist.load_data()
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

...
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)

补充知识:Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

问题

在使用keras做对心电信号分类的项目中发现一个问题,这个问题起源于我的一个使用错误:

binary_crossentropy 二进制交叉熵用于二分类问题中,categorical_crossentropy分类交叉熵适用于多分类问题中,我的心电分类是一个多分类问题,但是我起初使用了二进制交叉熵,代码如下所示:

sgd = SGD(lr=0.003, decay=0, momentum=0.7, nesterov=False)
model.compile(loss='categorical_crossentropy',
  optimizer='sgd',metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_test,Y_test),batch_size=16, epochs=20)
score = model.evaluate(X_test, Y_test, batch_size=16)

注意:我的CNN网络模型在最后输入层正确使用了应该用于多分类问题的softmax激活函数

后来我在另一个残差网络模型中对同类数据进行相同的分类问题中,正确使用了分类交叉熵,令人奇怪的是残差模型的效果远弱于普通卷积神经网络,这一点是不符合常理的,经过多次修改分析终于发现可能是损失函数的问题,因此我使用二进制交叉熵在残差网络中,终于取得了优于普通卷积神经网络的效果。

因此可以断定问题就出在所使用的损失函数身上

原理

本人也只是个只会使用框架的调参侠,对于一些原理也是一知半解,经过了学习才大致明白,将一些原理记录如下:

要搞明白分类熵和二进制交叉熵先要从二者适用的激活函数说起

激活函数

sigmoid, softmax主要用于神经网络输出层的输出。

softmax函数

Keras中的多分类损失函数用法categorical_crossentropy

softmax可以看作是Sigmoid的一般情况,用于多分类问题。

Softmax函数将K维的实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于 (0,1) 之间。常用于多分类问题。

sigmoid函数

Keras中的多分类损失函数用法categorical_crossentropy

Sigmoid 将一个实数映射到 (0,1) 的区间,可以用来做二分类。Sigmoid 在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid不适合用在神经网络的中间层,因为对于深层网络,sigmoid 函数反向传播时,很容易就会出现梯度消失的情况(在 sigmoid 接近饱和区时,变换太缓慢,导数趋于 0,这种情况会造成信息丢失),从而无法完成深层网络的训练。所以Sigmoid主要用于对神经网络输出层的激活。

分析

所以说多分类问题是要softmax激活函数配合分类交叉熵函数使用,而二分类问题要使用sigmoid激活函数配合二进制交叉熵函数适用,但是如果在多分类问题中使用了二进制交叉熵函数最后的模型分类效果会虚高,即比模型本身真实的分类效果好。

所以就会出现我遇到的情况,这里引用了论坛一位大佬的样例:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # WRONG way

model.fit(x_train, y_train,
   batch_size=batch_size,
   epochs=2, # only 2 epochs, for demonstration purposes
   verbose=1,
   validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False

样例中模型在评估中得到的准确度高于实际测算得到的准确度,网上给出的原因是Keras没有定义一个准确的度量,但有几个不同的,比如binary_accuracy和categorical_accuracy,当你使用binary_crossentropy时keras默认在评估过程中使用了binary_accuracy,但是针对你的分类要求,应当采用的是categorical_accuracy,所以就造成了这个问题(其中的具体原理我也没去看源码详细了解)

解决

所以问题最后的解决方法就是:

对于多分类问题,要么采用

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', 
 optimizer='adam', metrics=[categorical_accuracy])

要么采用

model.compile(loss='categorical_crossentropy',
optimizer='adam',metrics=['accuracy'])

以上这篇Keras中的多分类损失函数用法categorical_crossentropy就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中list列表的高级函数
May 17 Python
Tensorflow简单验证码识别应用
May 25 Python
Pandas 数据框增、删、改、查、去重、抽样基本操作方法
Apr 12 Python
基于MTCNN/TensorFlow实现人脸检测
May 24 Python
Django model序列化为json的方法示例
Oct 16 Python
django+echart绘制曲线图的方法示例
Nov 26 Python
Python调用Windows命令打印文件
Feb 07 Python
Python异常原理及异常捕捉实现过程解析
Mar 25 Python
Python参数传递机制传值和传引用原理详解
May 22 Python
jupyter notebook快速入门及使用详解
Nov 13 Python
python 模拟登陆163邮箱
Dec 15 Python
Python尝试实现蒙特卡罗模拟期权定价
Apr 21 Python
Python 列表中的修改、添加和删除元素的实现
Jun 11 #Python
python中什么是面向对象
Jun 11 #Python
python实现凯撒密码、凯撒加解密算法
Jun 11 #Python
python新手学习可变和不可变对象
Jun 11 #Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
Jun 11 #Python
什么是python的id函数
Jun 11 #Python
Keras:Unet网络实现多类语义分割方式
Jun 11 #Python
You might like
Ajax PHP 边学边练 之三 数据库
2009/11/26 PHP
php批量删除数据库下指定前缀的表以prefix_为例
2014/08/24 PHP
使用PHP和HTML5 FormData实现无刷新文件上传教程
2014/09/06 PHP
CI框架中类的自动加载问题分析
2016/11/21 PHP
iframe 异步加载技术及性能分析
2011/07/19 Javascript
JavaScript实现select添加option
2015/07/03 Javascript
基于jQuery和Bootstrap框架实现仿知乎前端动态列表效果
2016/11/09 Javascript
nodejs模块学习之connect解析
2017/07/05 NodeJs
vue实现商品加减计算总价的实例代码
2018/08/12 Javascript
JavaScript链式调用实例浅析
2018/12/19 Javascript
200行HTML+JavaScript实现年会抽奖程序
2019/01/22 Javascript
浅谈Webpack多页应用HMR卡住问题
2019/04/24 Javascript
详解微信小程序工程化探索之webpack实战
2020/04/20 Javascript
[00:52]黑暗之门更新 新英雄孽主驾临DOTA2
2016/08/24 DOTA
[04:40]DOTA2-DPC中国联赛1月26日Recap集锦
2021/03/11 DOTA
Bottle框架中的装饰器类和描述符应用详解
2017/10/28 Python
对Python2与Python3中__bool__方法的差异详解
2018/11/01 Python
在python中使用xlrd获取合并单元格的方法
2018/12/26 Python
详解Python中的内建函数,可迭代对象,迭代器
2019/04/29 Python
python3.6根据m3u8下载mp4视频
2019/06/17 Python
python通过matplotlib生成复合饼图
2020/02/06 Python
Python统计学一数据的概括性度量详解
2020/03/03 Python
python初步实现word2vec操作
2020/06/09 Python
tensorflow基于CNN实战mnist手写识别(小白必看)
2020/07/20 Python
Python通过字典映射函数实现switch
2020/11/06 Python
scrapy实践之翻页爬取的实现
2021/01/05 Python
英国著名的小众美容品牌网站:Alyaka
2017/08/08 全球购物
Pandora德国官网:购买潘多拉手链、戒指、项链和耳环
2020/02/20 全球购物
文明演讲稿范文
2014/05/12 职场文书
活动倡议书范文
2014/05/13 职场文书
家长会欢迎标语
2014/06/24 职场文书
2014大学生学生会工作总结
2014/12/19 职场文书
网络舆情信息简报
2015/07/21 职场文书
公务员学习中国梦心得体会
2016/01/05 职场文书
pytorch MSELoss计算平均的实现方法
2021/05/12 Python
mysql如何能有效防止删库跑路
2021/10/05 MySQL