使用keras实现Precise, Recall, F1-socre方式


Posted in Python onJune 15, 2020

实现过程

from keras import backend as K
def Precision(y_true, y_pred):
 """精确率"""
 tp= K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives
 pp= K.sum(K.round(K.clip(y_pred, 0, 1))) # predicted positives
 precision = tp/ (pp+ K.epsilon())
 return precision
 
def Recall(y_true, y_pred):
 """召回率"""
 tp = K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) # true positives
 pp = K.sum(K.round(K.clip(y_true, 0, 1))) # possible positives
 recall = tp / (pp + K.epsilon())
 return recall
 
def F1(y_true, y_pred):
 """F1-score"""
 precision = Precision(y_true, y_pred)
 recall = Recall(y_true, y_pred)
 f1 = 2 * ((precision * recall) / (precision + recall + K.epsilon()))
 return f1

补充知识:分类问题的几个评价指标(Precision、Recall、F1-Score、Micro-F1、Macro-F1)

四个基本概念

TP、True Positive 真阳性:预测为正,实际也为正

FP、False Positive 假阳性:预测为正,实际为负

FN、False Negative 假阴性:预测与负、实际为正

TN、True Negative 真阴性:预测为负、实际也为负。

【一致判真假,预测判阴阳。】

以分类问题为例:(word公式为什么粘不过来??头疼。)

使用keras实现Precise, Recall, F1-socre方式

首先看真阳性:真阳性的定义是“预测为正,实际也是正”,这个最好理解,就是指预测正确,是哪个类就被分到哪个类。对类A而言,TP的个位数为2,对类B而言,TP的个数为2,对类C而言,TP的个数为1。

然后看假阳性,假阳性的定义是“预测为正,实际为负”,就是预测为某个类,但是实际不是。对类A而言,FP个数为0,我们预测之后,把1和2分给了A,这两个都是正确的,并不存在把不是A类的值分给A的情况。类B的FP是2,"3"和"8"都不是B类,但却分给了B,所以为假阳性。类C的假阳性个数为2。

最后看一下假阴性,假阴性的定义是“预测为负,实际为正”,对类A而言,FN为2,"3"和"4"分别预测为B和C,但是实际是A,也就是预测为负,实际为正。对类B而言,FN为1,对类C而言,FN为1。

具体情况看如下表格:

A B C 总计
TP 2 2 1 5
FP 0 2 2 4
FN 2 1 1 4

感谢这两位的指正

使用keras实现Precise, Recall, F1-socre方式

精确率和召回率

使用keras实现Precise, Recall, F1-socre方式

计算我们预测出来的某类样本中,有多少是被正确预测的。针对预测样本而言。

使用keras实现Precise, Recall, F1-socre方式

针对原先实际样本而言,有多少样本被正确的预测出来了。

套用网上的一个例子:

某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:

精确率 = 700 / (700 +200 + 100) = 70%

召回率 = 700 / 1400 =50%

可以吧上述的例子看成分类预测问题,对于“鲤鱼来说”,TP真阳性为700,FP假阳性为300,FN假阴性为700。

Precison=TP/(TP+FP)=700(700+300)=70%

Recall=TP/(TP+FN)=700/(700+700)=50%

将上述例子,改变一下:把池子里的所有的鲤鱼、虾和鳖都一网打尽,观察这些指标的变化。

精确率 = 1400 / (1400 +300 + 300) = 70%

召回率 = 1400 / 1400 =100%

TP为1400:有1400条鲤鱼被预测出来;FP为600:有600个生物不是鲤鱼类,却被归类到鲤鱼;FN为0,鲤鱼都被归类到鲤鱼类去了,并没有归到其他类。

Precision=TP/(TP+FP)=1400/(1400+600)=70%

Recall=TP/(TP+FN)=1400/(1400)=100%

其实就是分母不同,一个分母是预测为正的样本数,另一个是原来样本中所有的正样本数。

作为预测者,我们当然是希望,Precision和Recall都保持一个较高的水准,但事实上这两者在某些情况下有矛盾的。比如极端情况下,我们只搜索出了一个结果,且是正确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高,此时我们可以引出另一个评价指标—F1-Score(F-Measure)。

F1-Score

F1分数(F1 Score),是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均,它的最大值是1,最小值是0。(出自百度百科)

数学定义:F1分数(F1-Score),又称为平衡F分数(BalancedScore),它被定义为精确率和召回率的调和平均数。

使用keras实现Precise, Recall, F1-socre方式

更一般的,我们定义Fβ分数为:

使用keras实现Precise, Recall, F1-socre方式

除了F1分数之外,F0.5分数和F2分数,在统计学中也得到了大量应用,其中,F2分数中,召回率的权重高于精确率,而F0.5分数中,精确率的权重高于召回率。

Micro-F1和Macro-F1

最后看Micro-F1和Macro-F1。在第一个多标签分类任务中,可以对每个“类”,计算F1,显然我们需要把所有类的F1合并起来考虑。

这里有两种合并方式:

第一种计算出所有类别总的Precision和Recall,然后计算F1。

例如依照最上面的表格来计算:Precison=5/(5+4)=0.556,Recall=5/(5+4)=0.556,然后带入F1的公式求出F1,这种方式被称为Micro-F1微平均。

第二种方式是计算出每一个类的Precison和Recall后计算F1,最后将F1平均。

例如上式A类:P=2/(2+0)=1.0,R=2/(2+2)=0.5,F1=(2*1*0.5)/1+0.5=0.667。同理求出B类C类的F1,最后求平均值,这种范式叫做Macro-F1宏平均。

本篇完,如有错误,还望指正。 以上这篇使用keras实现Precise, Recall, F1-socre方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 Python
使用PyV8在Python爬虫中执行js代码
Feb 16 Python
Python实现在tkinter中使用matplotlib绘制图形的方法示例
Jan 18 Python
flask-restful使用总结
Dec 04 Python
python实现二维插值的三维显示
Dec 17 Python
对python pandas读取剪贴板内容的方法详解
Jan 24 Python
Django使用模板后无法找到静态资源文件问题解决
Jul 19 Python
Django框架下静态模板的继承操作示例
Nov 08 Python
python matplotlib 画dataframe的时间序列图实例
Nov 20 Python
python 通过手机号识别出对应的微信性别(实例代码)
Dec 22 Python
python suds访问webservice服务实现
Jun 26 Python
通过代码实例了解Python sys模块
Sep 14 Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
Keras官方中文文档:性能评估Metrices详解
Jun 15 #Python
在keras里面实现计算f1-score的代码
Jun 15 #Python
Python流程控制语句的深入讲解
Jun 15 #Python
keras自定义损失函数并且模型加载的写法介绍
Jun 15 #Python
python语言是免费还是收费的?
Jun 15 #Python
You might like
php数组函数序列之array_unique() - 去除数组中重复的元素值
2011/10/29 PHP
php调用Google translate_tts api实现代码
2013/08/07 PHP
php使用Jpgraph绘制简单X-Y坐标图的方法
2015/06/10 PHP
Yii视图操作之自定义分页实现方法
2016/07/14 PHP
PHP基本语法实例总结
2016/09/09 PHP
thinkPHP框架动态配置用法实例分析
2018/06/14 PHP
响应鼠标变换表格背景或者颜色的代码
2009/03/30 Javascript
一个基于jquery的图片切换效果
2010/07/06 Javascript
Jquery 垂直多级手风琴菜单附源码下载
2015/11/17 Javascript
JavaScript 闭包详细介绍
2016/09/28 Javascript
Json对象和字符串互相转换json数据拼接和JSON使用方式详细介绍(小结)
2016/10/25 Javascript
AngularJS 中使用Swiper制作滚动图不能滑动的解决方法
2016/11/15 Javascript
基于JavaScript实现无限加载瀑布流
2017/07/21 Javascript
mac中利用NVM管理不同node版本的方法详解
2017/11/08 Javascript
基于vue展开收起动画的示例代码
2018/07/05 Javascript
React优化子组件render的使用
2019/05/12 Javascript
layui数据表格重载实现往后台传参
2019/11/15 Javascript
vue 使用 canvas 实现手写电子签名
2020/03/06 Javascript
Vue与React的区别和优势对比
2020/12/18 Vue.js
[01:01:35]Optic vs paiN 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
python使用正则表达式替换匹配成功的组
2017/11/17 Python
Python批量合并有合并单元格的Excel文件详解
2018/04/05 Python
python中正则表达式 re.findall 用法
2018/10/23 Python
Python3中函数参数传递方式实例详解
2019/05/05 Python
英国演唱会订票网站:Ticket Selection
2018/03/27 全球购物
巴西电子、家电、智能手机购物网站:Girafa
2019/06/04 全球购物
俄语专业毕业生推荐信
2013/10/28 职场文书
前台文员的岗位职责
2013/11/14 职场文书
高中数学教学反思
2014/01/30 职场文书
文明礼仪演讲稿
2014/05/12 职场文书
警察群众路线对照检查材料思想汇报
2014/10/01 职场文书
2014年内部审计工作总结
2014/12/09 职场文书
尊师重教主题班会
2015/08/14 职场文书
护士工作心得体会
2016/01/25 职场文书
用python自动生成日历
2021/04/24 Python
SQL Server表分区降低运维和维护成本
2022/04/08 SQL Server