使用keras实现Precise, Recall, F1-socre方式


Posted in Python onJune 15, 2020

实现过程

from keras import backend as K
def Precision(y_true, y_pred):
 """精确率"""
 tp= K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives
 pp= K.sum(K.round(K.clip(y_pred, 0, 1))) # predicted positives
 precision = tp/ (pp+ K.epsilon())
 return precision
 
def Recall(y_true, y_pred):
 """召回率"""
 tp = K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives
 pp = K.sum(K.round(K.clip(y_true, 0, 1))) # possible positives
 recall = tp / (pp + K.epsilon())
 return recall
 
def F1(y_true, y_pred):
 """F1-score"""
 precision = Precision(y_true, y_pred)
 recall = Recall(y_true, y_pred)
 f1 = 2 * ((precision * recall) / (precision + recall + K.epsilon()))
 return f1

补充知识:分类问题的几个评价指标(Precision、Recall、F1-Score、Micro-F1、Macro-F1)

四个基本概念

TP、True Positive 真阳性:预测为正,实际也为正

FP、False Positive 假阳性:预测为正,实际为负

FN、False Negative 假阴性:预测与负、实际为正

TN、True Negative 真阴性:预测为负、实际也为负。

【一致判真假,预测判阴阳。】

以分类问题为例:(word公式为什么粘不过来??头疼。)

使用keras实现Precise, Recall, F1-socre方式

首先看真阳性:真阳性的定义是“预测为正,实际也是正”,这个最好理解,就是指预测正确,是哪个类就被分到哪个类。对类A而言,TP的个位数为2,对类B而言,TP的个数为2,对类C而言,TP的个数为1。

然后看假阳性,假阳性的定义是“预测为正,实际为负”,就是预测为某个类,但是实际不是。对类A而言,FP个数为0,我们预测之后,把1和2分给了A,这两个都是正确的,并不存在把不是A类的值分给A的情况。类B的FP是2,"3"和"8"都不是B类,但却分给了B,所以为假阳性。类C的假阳性个数为2。

最后看一下假阴性,假阴性的定义是“预测为负,实际为正”,对类A而言,FN为2,"3"和"4"分别预测为B和C,但是实际是A,也就是预测为负,实际为正。对类B而言,FN为1,对类C而言,FN为1。

具体情况看如下表格:

A B C 总计
TP 2 2 1 5
FP 0 2 2 4
FN 2 1 1 4

感谢这两位的指正

使用keras实现Precise, Recall, F1-socre方式

精确率和召回率

使用keras实现Precise, Recall, F1-socre方式

计算我们预测出来的某类样本中,有多少是被正确预测的。针对预测样本而言。

使用keras实现Precise, Recall, F1-socre方式

针对原先实际样本而言,有多少样本被正确的预测出来了。

套用网上的一个例子:

某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:

精确率 = 700 / (700 +200 + 100) = 70%

召回率 = 700 / 1400 =50%

可以吧上述的例子看成分类预测问题,对于“鲤鱼来说”,TP真阳性为700,FP假阳性为300,FN假阴性为700。

Precison=TP/(TP+FP)=700(700+300)=70%

Recall=TP/(TP+FN)=700/(700+700)=50%

将上述例子,改变一下:把池子里的所有的鲤鱼、虾和鳖都一网打尽,观察这些指标的变化。

精确率 = 1400 / (1400 +300 + 300) = 70%

召回率 = 1400 / 1400 =100%

TP为1400:有1400条鲤鱼被预测出来;FP为600:有600个生物不是鲤鱼类,却被归类到鲤鱼;FN为0,鲤鱼都被归类到鲤鱼类去了,并没有归到其他类。

Precision=TP/(TP+FP)=1400/(1400+600)=70%

Recall=TP/(TP+FN)=1400/(1400)=100%

其实就是分母不同,一个分母是预测为正的样本数,另一个是原来样本中所有的正样本数。

作为预测者,我们当然是希望,Precision和Recall都保持一个较高的水准,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,且是正确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高,此时我们可以引出另一个评价指标—F1-Score(F-Measure)。

F1-Score

F1分数(F1 Score),是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均,它的最大值是1,最小值是0。(出自百度百科)

数学定义:F1分数(F1-Score),又称为平衡F分数(BalancedScore),它被定义为精确率和召回率的调和平均数。

使用keras实现Precise, Recall, F1-socre方式

更一般的,我们定义Fβ分数为:

使用keras实现Precise, Recall, F1-socre方式

除了F1分数之外,F0.5分数和F2分数,在统计学中也得到了大量应用,其中,F2分数中,召回率的权重高于精确率,而F0.5分数中,精确率的权重高于召回率。

Micro-F1和Macro-F1

最后看Micro-F1和Macro-F1。在第一个多标签分类任务中,可以对每个“类”,计算F1,显然我们需要把所有类的F1合并起来考虑。

这里有两种合并方式:

第一种计算出所有类别总的Precision和Recall,然后计算F1。

例如依照最上面的表格来计算:Precison=5/(5+4)=0.556,Recall=5/(5+4)=0.556,然后带入F1的公式求出F1,这种方式被称为Micro-F1微平均。

第二种方式是计算出每一个类的Precison和Recall后计算F1,最后将F1平均。

例如上式A类:P=2/(2+0)=1.0,R=2/(2+2)=0.5,F1=(2*1*0.5)/1+0.5=0.667。同理求出B类C类的F1,最后求平均值,这种范式叫做Macro-F1宏平均。

本篇完,如有错误,还望指正。 以上这篇使用keras实现Precise, Recall, F1-socre方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python原始套接字编程示例分享
Feb 21 Python
Python中使用PyHook监听鼠标和键盘事件实例
Jul 18 Python
python实现DES加密解密方法实例详解
Jun 30 Python
Python常见异常分类与处理方法
Jun 04 Python
Python中的上下文管理器和with语句的使用
Apr 17 Python
python3+PyQt5+Qt Designer实现扩展对话框
Apr 20 Python
Python 正则表达式匹配字符串中的http链接方法
Dec 25 Python
如何使用python把ppt转换成pdf
Jun 29 Python
解决pycharm上的jupyter notebook端口被占用问题
Dec 17 Python
基于Django signals 信号作用及用法详解
Mar 28 Python
pytorch读取图像数据转成opencv格式实例
Jun 02 Python
Python中有几个关键字
Jun 04 Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
Keras官方中文文档:性能评估Metrices详解
Jun 15 #Python
在keras里面实现计算f1-score的代码
Jun 15 #Python
Python流程控制语句的深入讲解
Jun 15 #Python
keras自定义损失函数并且模型加载的写法介绍
Jun 15 #Python
python语言是免费还是收费的?
Jun 15 #Python
You might like
将兴奋、喜悦和坎加斯带到戴安娜:亚马逊公主
2020/03/03 欧美动漫
php与java通过socket通信的实现代码
2013/10/21 PHP
PHPAnalysis中文分词类详解
2014/06/13 PHP
PHP抓取及分析网页的方法详解
2016/04/26 PHP
PHP实现的mongoDB数据库操作类完整实例
2018/04/10 PHP
Javascript Select操作大集合
2009/05/26 Javascript
JQuery下的Live方法和$.browser方法使用代码
2010/06/02 Javascript
cocos2dx骨骼动画Armature源码剖析(三)
2015/09/08 Javascript
Js自定义多选框效果的实例代码
2017/07/05 Javascript
JS分页的实现(同步与异步)
2017/09/16 Javascript
基于Bootstrap表单验证功能
2017/11/17 Javascript
微信小程序三级联动选择器使用方法
2020/05/19 Javascript
layui表格内放置图片,并点击放大的实例
2019/09/10 Javascript
深入探索VueJS Scoped CSS 实现原理
2019/09/23 Javascript
判断JavaScript中的两个变量是否相等的操作符
2019/12/21 Javascript
Python编程实现输入某年某月某日计算出这一天是该年第几天的方法
2017/04/18 Python
python使用matplotlib绘图时图例显示问题的解决
2017/04/27 Python
Python获取SQLite查询结果表列名的方法
2017/06/21 Python
python微信好友数据分析详解
2018/11/19 Python
python绘制漏斗图步骤详解
2019/03/04 Python
基于Django的乐观锁与悲观锁解决订单并发问题详解
2019/07/31 Python
Python 等分切分数据及规则命名的实例代码
2019/08/16 Python
python从zip中删除指定后缀文件(推荐)
2019/12/05 Python
详解Django3中直接添加Websockets方式
2020/02/12 Python
Jupyter加载文件的实现方法
2020/04/14 Python
Python eval函数原理及用法解析
2020/11/14 Python
中专生自我鉴定范文
2013/12/19 职场文书
促销活动总结报告
2014/04/26 职场文书
安全承诺书格式
2014/05/21 职场文书
2015年校长新年寄语
2014/12/08 职场文书
怀孕辞职信怎么写
2015/02/28 职场文书
夏洛特的网观后感
2015/06/15 职场文书
圣诞晚会主持词
2015/07/01 职场文书
七年级数学教学反思
2016/02/17 职场文书
元素水平垂直居中的方式
2021/03/31 HTML / CSS
分析JVM源码之Thread.interrupt系统级别线程打断
2021/06/29 Java/Android