Keras中的多分类损失函数用法categorical_crossentropy


Posted in Python onJune 11, 2020

from keras.utils.np_utils import to_categorical

注意:当使用categorical_crossentropy损失函数时,你的标签应为多类模式,例如如果你有10个类别,每一个样本的标签应该是一个10维的向量,该向量在对应有值的索引位置为1其余为0。

可以使用这个方法进行转换:

from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=None)

以mnist数据集为例:

from keras.datasets import mnist

(X_train, y_train), (X_test, y_test) = mnist.load_data()
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

...
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)

补充知识:Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

问题

在使用keras做对心电信号分类的项目中发现一个问题,这个问题起源于我的一个使用错误:

binary_crossentropy 二进制交叉熵用于二分类问题中,categorical_crossentropy分类交叉熵适用于多分类问题中,我的心电分类是一个多分类问题,但是我起初使用了二进制交叉熵,代码如下所示:

sgd = SGD(lr=0.003, decay=0, momentum=0.7, nesterov=False)
model.compile(loss='categorical_crossentropy',
  optimizer='sgd',metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_test,Y_test),batch_size=16, epochs=20)
score = model.evaluate(X_test, Y_test, batch_size=16)

注意:我的CNN网络模型在最后输入层正确使用了应该用于多分类问题的softmax激活函数

后来我在另一个残差网络模型中对同类数据进行相同的分类问题中,正确使用了分类交叉熵,令人奇怪的是残差模型的效果远弱于普通卷积神经网络,这一点是不符合常理的,经过多次修改分析终于发现可能是损失函数的问题,因此我使用二进制交叉熵在残差网络中,终于取得了优于普通卷积神经网络的效果。

因此可以断定问题就出在所使用的损失函数身上

原理

本人也只是个只会使用框架的调参侠,对于一些原理也是一知半解,经过了学习才大致明白,将一些原理记录如下:

要搞明白分类熵和二进制交叉熵先要从二者适用的激活函数说起

激活函数

sigmoid, softmax主要用于神经网络输出层的输出。

softmax函数

Keras中的多分类损失函数用法categorical_crossentropy

softmax可以看作是Sigmoid的一般情况,用于多分类问题。

Softmax函数将K维的实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于 (0,1) 之间。常用于多分类问题。

sigmoid函数

Keras中的多分类损失函数用法categorical_crossentropy

Sigmoid 将一个实数映射到 (0,1) 的区间,可以用来做二分类。Sigmoid 在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid不适合用在神经网络的中间层,因为对于深层网络,sigmoid 函数反向传播时,很容易就会出现梯度消失的情况(在 sigmoid 接近饱和区时,变换太缓慢,导数趋于 0,这种情况会造成信息丢失),从而无法完成深层网络的训练。所以Sigmoid主要用于对神经网络输出层的激活。

分析

所以说多分类问题是要softmax激活函数配合分类交叉熵函数使用,而二分类问题要使用sigmoid激活函数配合二进制交叉熵函数适用,但是如果在多分类问题中使用了二进制交叉熵函数最后的模型分类效果会虚高,即比模型本身真实的分类效果好。

所以就会出现我遇到的情况,这里引用了论坛一位大佬的样例:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # WRONG way

model.fit(x_train, y_train,
   batch_size=batch_size,
   epochs=2, # only 2 epochs, for demonstration purposes
   verbose=1,
   validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False

样例中模型在评估中得到的准确度高于实际测算得到的准确度,网上给出的原因是Keras没有定义一个准确的度量,但有几个不同的,比如binary_accuracy和categorical_accuracy,当你使用binary_crossentropy时keras默认在评估过程中使用了binary_accuracy,但是针对你的分类要求,应当采用的是categorical_accuracy,所以就造成了这个问题(其中的具体原理我也没去看源码详细了解)

解决

所以问题最后的解决方法就是:

对于多分类问题,要么采用

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', 
 optimizer='adam', metrics=[categorical_accuracy])

要么采用

model.compile(loss='categorical_crossentropy',
optimizer='adam',metrics=['accuracy'])

以上这篇Keras中的多分类损失函数用法categorical_crossentropy就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python迭代用法实例教程
Sep 08 Python
跟老齐学Python之不要红头文件(1)
Sep 28 Python
python入门之语句(if语句、while语句、for语句)
Jan 19 Python
Python版微信红包分配算法
May 04 Python
Python读取视频的两种方法(imageio和cv2)
Apr 15 Python
对pyqt5中QTabWidget的相关操作详解
Jun 21 Python
IDLE下Python文件编辑和运行操作
Apr 25 Python
python单元测试框架pytest的使用示例
Oct 07 Python
利用python如何实现猫捉老鼠小游戏
Dec 04 Python
python中time.ctime()实例用法
Feb 03 Python
DjangoRestFramework 使用 simpleJWT 登陆认证完整记录
Jun 22 Python
python机器学习创建基于规则聊天机器人过程示例详解
Nov 02 Python
Python 列表中的修改、添加和删除元素的实现
Jun 11 #Python
python中什么是面向对象
Jun 11 #Python
python实现凯撒密码、凯撒加解密算法
Jun 11 #Python
python新手学习可变和不可变对象
Jun 11 #Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
Jun 11 #Python
什么是python的id函数
Jun 11 #Python
Keras:Unet网络实现多类语义分割方式
Jun 11 #Python
You might like
PHP转换文件夹下所有文件编码的实现代码
2013/06/06 PHP
浅析使用Turck-mmcache编译来加速、优化PHP代码
2013/06/20 PHP
调整PHP的性能
2013/10/30 PHP
php日历制作代码分享
2014/01/20 PHP
php微信开发之自定义菜单完整流程
2016/10/08 PHP
jquery下操作HTML控件的实现代码
2010/01/12 Javascript
Web前端设计模式  制作漂亮的弹出层
2010/10/29 Javascript
ExtJS[Desktop]实现图标换行示例代码
2013/11/17 Javascript
node.js(express)中使用Jcrop进行图片剪切上传功能
2017/04/21 Javascript
JS判断一个数是否是水仙花数
2017/06/11 Javascript
ES6深入理解之“let”能替代”var“吗?
2017/06/28 Javascript
详解angularjs popup-table 弹出框表格指令
2017/09/20 Javascript
angular内置provider之$compileProvider详解
2017/09/27 Javascript
关于vue中watch检测到不到对象属性的变化的解决方法
2018/02/08 Javascript
nginx+vue.js实现前后端分离的示例代码
2018/02/12 Javascript
React 组件中的 bind(this)示例代码
2018/09/16 Javascript
JavaScript私有变量实例详解
2019/01/24 Javascript
js JSON.stringify()基础详解
2019/06/19 Javascript
闭包在python中的应用之translate和maketrans用法详解
2014/08/27 Python
Python基于whois模块简单识别网站域名及所有者的方法
2018/04/23 Python
python 统计一个列表当中的每一个元素出现了多少次的方法
2018/11/14 Python
Python功能点实现:函数级/代码块级计时器
2019/01/02 Python
Python搭建代理IP池实现接口设置与整体调度
2019/10/27 Python
详解Python中字符串前“b”,“r”,“u”,“f”的作用
2019/12/18 Python
Python中join()函数多种操作代码实例
2020/01/13 Python
关于Python解包知识点总结
2020/05/05 Python
Python远程方法调用实现过程解析
2020/07/28 Python
python logging 重复写日志问题解决办法详解
2020/08/04 Python
电钳工人个人求职信
2014/05/10 职场文书
运动员获奖感言
2014/08/15 职场文书
2014年扶贫帮困工作总结
2014/12/09 职场文书
2015新学期开学寄语
2015/02/26 职场文书
2016年小学优秀班主任事迹材料
2016/02/29 职场文书
读《工匠精神》有感:热爱工作,精益求精
2019/12/28 职场文书
MySQL中你可能忽略的COLLATION实例详解
2021/05/12 MySQL
SQL Server使用PIVOT与unPIVOT实现行列转换
2022/05/25 SQL Server