Keras中的多分类损失函数用法categorical_crossentropy


Posted in Python onJune 11, 2020

from keras.utils.np_utils import to_categorical

注意:当使用categorical_crossentropy损失函数时,你的标签应为多类模式,例如如果你有10个类别,每一个样本的标签应该是一个10维的向量,该向量在对应有值的索引位置为1其余为0。

可以使用这个方法进行转换:

from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=None)

以mnist数据集为例:

from keras.datasets import mnist

(X_train, y_train), (X_test, y_test) = mnist.load_data()
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

...
model.compile(loss='categorical_crossentropy', optimizer='adam')
model.fit(X_train, y_train, epochs=100, batch_size=1, verbose=2)

补充知识:Keras中损失函数binary_crossentropy和categorical_crossentropy产生不同结果的分析

问题

在使用keras做对心电信号分类的项目中发现一个问题,这个问题起源于我的一个使用错误:

binary_crossentropy 二进制交叉熵用于二分类问题中,categorical_crossentropy分类交叉熵适用于多分类问题中,我的心电分类是一个多分类问题,但是我起初使用了二进制交叉熵,代码如下所示:

sgd = SGD(lr=0.003, decay=0, momentum=0.7, nesterov=False)
model.compile(loss='categorical_crossentropy',
  optimizer='sgd',metrics=['accuracy'])
model.fit(X_train, Y_train, validation_data=(X_test,Y_test),batch_size=16, epochs=20)
score = model.evaluate(X_test, Y_test, batch_size=16)

注意:我的CNN网络模型在最后输入层正确使用了应该用于多分类问题的softmax激活函数

后来我在另一个残差网络模型中对同类数据进行相同的分类问题中,正确使用了分类交叉熵,令人奇怪的是残差模型的效果远弱于普通卷积神经网络,这一点是不符合常理的,经过多次修改分析终于发现可能是损失函数的问题,因此我使用二进制交叉熵在残差网络中,终于取得了优于普通卷积神经网络的效果。

因此可以断定问题就出在所使用的损失函数身上

原理

本人也只是个只会使用框架的调参侠,对于一些原理也是一知半解,经过了学习才大致明白,将一些原理记录如下:

要搞明白分类熵和二进制交叉熵先要从二者适用的激活函数说起

激活函数

sigmoid, softmax主要用于神经网络输出层的输出。

softmax函数

Keras中的多分类损失函数用法categorical_crossentropy

softmax可以看作是Sigmoid的一般情况,用于多分类问题。

Softmax函数将K维的实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于 (0,1) 之间。常用于多分类问题。

sigmoid函数

Keras中的多分类损失函数用法categorical_crossentropy

Sigmoid 将一个实数映射到 (0,1) 的区间,可以用来做二分类。Sigmoid 在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid不适合用在神经网络的中间层,因为对于深层网络,sigmoid 函数反向传播时,很容易就会出现梯度消失的情况(在 sigmoid 接近饱和区时,变换太缓慢,导数趋于 0,这种情况会造成信息丢失),从而无法完成深层网络的训练。所以Sigmoid主要用于对神经网络输出层的激活。

分析

所以说多分类问题是要softmax激活函数配合分类交叉熵函数使用,而二分类问题要使用sigmoid激活函数配合二进制交叉熵函数适用,但是如果在多分类问题中使用了二进制交叉熵函数最后的模型分类效果会虚高,即比模型本身真实的分类效果好。

所以就会出现我遇到的情况,这里引用了论坛一位大佬的样例:

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # WRONG way

model.fit(x_train, y_train,
   batch_size=batch_size,
   epochs=2, # only 2 epochs, for demonstration purposes
   verbose=1,
   validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False

样例中模型在评估中得到的准确度高于实际测算得到的准确度,网上给出的原因是Keras没有定义一个准确的度量,但有几个不同的,比如binary_accuracy和categorical_accuracy,当你使用binary_crossentropy时keras默认在评估过程中使用了binary_accuracy,但是针对你的分类要求,应当采用的是categorical_accuracy,所以就造成了这个问题(其中的具体原理我也没去看源码详细了解)

解决

所以问题最后的解决方法就是:

对于多分类问题,要么采用

from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', 
 optimizer='adam', metrics=[categorical_accuracy])

要么采用

model.compile(loss='categorical_crossentropy',
optimizer='adam',metrics=['accuracy'])

以上这篇Keras中的多分类损失函数用法categorical_crossentropy就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python自定义函数的创建、调用和函数的参数详解
Mar 11 Python
利用Python中SocketServer 实现客户端与服务器间非阻塞通信
Dec 15 Python
Python pymongo模块用法示例
Mar 31 Python
pyspark操作MongoDB的方法步骤
Jan 04 Python
详解Python图像处理库Pillow常用使用方法
Sep 02 Python
详解Python3定时器任务代码
Sep 23 Python
Python操作列表常用方法实例小结【创建、遍历、统计、切片等】
Oct 25 Python
Python创建数字列表的示例
Nov 28 Python
Python+Redis实现布隆过滤器
Dec 08 Python
Python3 获取文件属性的方式(时间、大小等)
Mar 12 Python
Python提取PDF指定内容并生成新文件
Jun 09 Python
详解Go语言运用广度优先搜索走迷宫
Jun 23 Python
Python 列表中的修改、添加和删除元素的实现
Jun 11 #Python
python中什么是面向对象
Jun 11 #Python
python实现凯撒密码、凯撒加解密算法
Jun 11 #Python
python新手学习可变和不可变对象
Jun 11 #Python
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
Jun 11 #Python
什么是python的id函数
Jun 11 #Python
Keras:Unet网络实现多类语义分割方式
Jun 11 #Python
You might like
php a simple smtp class
2007/11/26 PHP
优化PHP代码技巧的小结
2013/06/02 PHP
php实现的验证码文件类实例
2015/06/18 PHP
PHP框架实现WebSocket在线聊天通讯系统
2019/11/21 PHP
JavaScript NaN和Infinity特殊值 [译]
2012/09/20 Javascript
前台js改变Session的值(用ajax实现)
2012/12/28 Javascript
javascript之typeof、instanceof操作符使用探讨
2013/05/19 Javascript
jquery删除提示框弹出是否删除对话框
2014/01/07 Javascript
jQuery动态添加、删除元素的方法
2014/01/09 Javascript
SeaJS入门教程系列之SeaJS介绍(一)
2014/03/03 Javascript
莱鸟介绍window.print()方法
2016/01/06 Javascript
基于KO+BootStrap+MVC实现的分页控件代码分享
2016/11/07 Javascript
利用node.js实现自动生成前端项目组件的方法详解
2017/07/12 Javascript
JavaScript中Object基础内部方法图
2018/02/05 Javascript
NodeJS 实现多语言的示例代码
2018/09/11 NodeJs
vue项目持久化存储数据的实现代码
2018/10/01 Javascript
vue实现将数据存入vuex中以及从vuex中取出数据
2019/11/08 Javascript
24行JavaScript代码实现Redux的方法实例
2019/11/17 Javascript
[00:28]DOTA2北京网鱼队选拔赛
2015/04/08 DOTA
详解Python中的文本处理
2015/04/11 Python
详解Python的Django框架中的通用视图
2015/05/04 Python
用Python删除本地目录下某一时间点之前创建的所有文件的实例
2017/12/14 Python
使用实现pandas读取csv文件指定的前几行
2018/04/20 Python
python 实现视频流下载保存MP4的方法
2019/01/09 Python
使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件及出现问题解决方法
2019/09/06 Python
Python获取excel内容及相关操作代码实例
2020/08/10 Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
2021/02/18 Python
大二自我鉴定范文
2013/10/05 职场文书
留守儿童工作方案
2014/06/02 职场文书
党员查摆四风问题思想汇报
2014/10/25 职场文书
起诉书范文
2015/05/20 职场文书
离婚协议书格式范本
2016/03/18 职场文书
HTML中的表单Form实现居中效果
2021/05/25 HTML / CSS
端午节将至,用Python爬取粽子数据并可视化,看看网友喜欢哪种粽子吧!
2021/06/11 Python
springboot项目以jar包运行的操作方法
2021/06/30 Java/Android
Go语言并发编程 sync.Once
2021/10/16 Golang