keras中的loss、optimizer、metrics用法


Posted in Python onJune 15, 2020

用keras搭好模型架构之后的下一步,就是执行编译操作。在编译时,经常需要指定三个参数

loss

optimizer

metrics

这三个参数有两类选择:

使用字符串

使用标识符,如keras.losses,keras.optimizers,metrics包下面的函数

例如:

sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
  optimizer=sgd,
  metrics=['accuracy'])

因为有时可以使用字符串,有时可以使用标识符,令人很想知道背后是如何操作的。下面分别针对optimizer,loss,metrics三种对象的获取进行研究。

optimizer

一个模型只能有一个optimizer,在执行编译的时候只能指定一个optimizer。

在keras.optimizers.py中,有一个get函数,用于根据用户传进来的optimizer参数获取优化器的实例:

def get(identifier):
 # 如果后端是tensorflow并且使用的是tensorflow自带的优化器实例,可以直接使用tensorflow原生的优化器 
 if K.backend() == 'tensorflow':
 # Wrap TF optimizer instances
 if isinstance(identifier, tf.train.Optimizer):
  return TFOptimizer(identifier)
 # 如果以json串的形式定义optimizer并进行参数配置
 if isinstance(identifier, dict):
 return deserialize(identifier)
 elif isinstance(identifier, six.string_types):
 # 如果以字符串形式指定optimizer,那么使用优化器的默认配置参数
 config = {'class_name': str(identifier), 'config': {}}
 return deserialize(config)
 if isinstance(identifier, Optimizer):
 # 如果使用keras封装的Optimizer的实例
 return identifier
 else:
 raise ValueError('Could not interpret optimizer identifier: ' +
    str(identifier))

其中,deserilize(config)函数的作用就是把optimizer反序列化制造一个实例。

loss

keras.losses函数也有一个get(identifier)方法。其中需要注意以下一点:

如果identifier是可调用的一个函数名,也就是一个自定义的损失函数,这个损失函数返回值是一个张量。这样就轻而易举的实现了自定义损失函数。除了使用str和dict类型的identifier,我们也可以直接使用keras.losses包下面的损失函数。

def get(identifier):
 if identifier is None:
 return None
 if isinstance(identifier, six.string_types):
 identifier = str(identifier)
 return deserialize(identifier)
 if isinstance(identifier, dict):
 return deserialize(identifier)
 elif callable(identifier):
 return identifier
 else:
 raise ValueError('Could not interpret '
    'loss function identifier:', identifier)

metrics

在model.compile()函数中,optimizer和loss都是单数形式,只有metrics是复数形式。因为一个模型只能指明一个optimizer和loss,却可以指明多个metrics。metrics也是三者中处理逻辑最为复杂的一个。

在keras最核心的地方keras.engine.train.py中有如下处理metrics的函数。这个函数其实就做了两件事:

根据输入的metric找到具体的metric对应的函数

计算metric张量

在寻找metric对应函数时,有两种步骤:

使用字符串形式指明准确率和交叉熵

使用keras.metrics.py中的函数

def handle_metrics(metrics, weights=None):
 metric_name_prefix = 'weighted_' if weights is not None else ''

 for metric in metrics:
 # 如果metrics是最常见的那种:accuracy,交叉熵
 if metric in ('accuracy', 'acc', 'crossentropy', 'ce'):
  # custom handling of accuracy/crossentropy
  # (because of class mode duality)
  output_shape = K.int_shape(self.outputs[i])
  # 如果输出维度是1或者损失函数是二分类损失函数,那么说明是个二分类问题,应该使用二分类的accuracy和二分类的的交叉熵
  if (output_shape[-1] == 1 or
  self.loss_functions[i] == losses.binary_crossentropy):
  # case: binary accuracy/crossentropy
  if metric in ('accuracy', 'acc'):
   metric_fn = metrics_module.binary_accuracy
  elif metric in ('crossentropy', 'ce'):
   metric_fn = metrics_module.binary_crossentropy
  # 如果损失函数是sparse_categorical_crossentropy,那么目标y_input就不是one-hot的,所以就需要使用sparse的多类准去率和sparse的多类交叉熵
  elif self.loss_functions[i] == losses.sparse_categorical_crossentropy:
  # case: categorical accuracy/crossentropy
  # with sparse targets
  if metric in ('accuracy', 'acc'):
   metric_fn = metrics_module.sparse_categorical_accuracy
  elif metric in ('crossentropy', 'ce'):
   metric_fn = metrics_module.sparse_categorical_crossentropy
  else:
  # case: categorical accuracy/crossentropy
  if metric in ('accuracy', 'acc'):
   metric_fn = metrics_module.categorical_accuracy
  elif metric in ('crossentropy', 'ce'):
   metric_fn = metrics_module.categorical_crossentropy
  if metric in ('accuracy', 'acc'):
   suffix = 'acc'
  elif metric in ('crossentropy', 'ce'):
   suffix = 'ce'
  weighted_metric_fn = weighted_masked_objective(metric_fn)
  metric_name = metric_name_prefix + suffix
 else:
  # 如果输入的metric不是字符串,那么就调用metrics模块获取
  metric_fn = metrics_module.get(metric)
  weighted_metric_fn = weighted_masked_objective(metric_fn)
  # Get metric name as string
  if hasattr(metric_fn, 'name'):
  metric_name = metric_fn.name
  else:
  metric_name = metric_fn.__name__
  metric_name = metric_name_prefix + metric_name

 with K.name_scope(metric_name):
  metric_result = weighted_metric_fn(y_true, y_pred,
      weights=weights,
      mask=masks[i])

 # Append to self.metrics_names, self.metric_tensors,
 # self.stateful_metric_names
 if len(self.output_names) > 1:
  metric_name = self.output_names[i] + '_' + metric_name
 # Dedupe name
 j = 1
 base_metric_name = metric_name
 while metric_name in self.metrics_names:
  metric_name = base_metric_name + '_' + str(j)
  j += 1
 self.metrics_names.append(metric_name)
 self.metrics_tensors.append(metric_result)

 # Keep track of state updates created by
 # stateful metrics (i.e. metrics layers).
 if isinstance(metric_fn, Layer) and metric_fn.stateful:
  self.stateful_metric_names.append(metric_name)
  self.stateful_metric_functions.append(metric_fn)
  self.metrics_updates += metric_fn.updates

无论怎么使用metric,最终都会变成metrics包下面的函数。当使用字符串形式指明accuracy和crossentropy时,keras会非常智能地确定应该使用metrics包下面的哪个函数。因为metrics包下的那些metric函数有不同的使用场景,例如:

有的处理的是one-hot形式的y_input(数据的类别),有的处理的是非one-hot形式的y_input

有的处理的是二分类问题的metric,有的处理的是多分类问题的metric

当使用字符串“accuracy”和“crossentropy”指明metric时,keras会根据损失函数、输出层的shape来确定具体应该使用哪个metric函数。在任何情况下,直接使用metrics下面的函数名是总不会出错的。

keras.metrics.py文件中也有一个get(identifier)函数用于获取metric函数。

def get(identifier):
 if isinstance(identifier, dict):
 config = {'class_name': str(identifier), 'config': {}}
 return deserialize(config)
 elif isinstance(identifier, six.string_types):
 return deserialize(str(identifier))
 elif callable(identifier):
 return identifier
 else:
 raise ValueError('Could not interpret '
    'metric function identifier:', identifier)

如果identifier是字符串或者字典,那么会根据identifier反序列化出一个metric函数。

如果identifier本身就是一个函数名,那么就直接返回这个函数名。这种方式就为自定义metric提供了巨大便利。

keras中的设计哲学堪称完美。

以上这篇keras中的loss、optimizer、metrics用法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中的lambda表达式用法详解
Jun 22 Python
Python中input与raw_input 之间的比较
Aug 20 Python
50行Python代码实现人脸检测功能
Jan 23 Python
Python实现的HMacMD5加密算法示例
Apr 03 Python
使用matplotlib画散点图的方法
May 25 Python
python保存文件方法小结
Jul 27 Python
Python列表推导式与生成器用法分析
Aug 02 Python
基于python实现学生信息管理系统
Nov 22 Python
解决tensorflow打印tensor有省略号的问题
Feb 04 Python
django rest framework serializer返回时间自动格式化方法
Mar 31 Python
Python实现Word表格转成Excel表格的示例代码
Apr 16 Python
PyMongo 查询数据的实现
Jun 28 Python
使用keras实现Precise, Recall, F1-socre方式
Jun 15 #Python
基于python和flask实现http接口过程解析
Jun 15 #Python
基于nexus3配置Python仓库过程详解
Jun 15 #Python
Keras官方中文文档:性能评估Metrices详解
Jun 15 #Python
在keras里面实现计算f1-score的代码
Jun 15 #Python
Python流程控制语句的深入讲解
Jun 15 #Python
keras自定义损失函数并且模型加载的写法介绍
Jun 15 #Python
You might like
PHP 高手之路(二)
2006/10/09 PHP
php 智能404跳转代码,适合换域名没改变目录的网站
2010/06/04 PHP
php提示无法加载或mcrypt没有找到 PHP 扩展 mbstring解决办法
2012/03/27 PHP
php session劫持和防范的方法
2013/11/12 PHP
Zend Framework分发器用法示例
2016/12/11 PHP
yii2安装详细流程
2018/05/23 PHP
jQuery 判断元素上是否绑定了事件
2009/10/28 Javascript
利用location.hash实现跨域iframe自适应
2010/05/04 Javascript
JQUBAR1.1 jQuery 柱状图插件发布
2010/11/28 Javascript
Node.js实现简单聊天服务器
2014/06/20 Javascript
浅谈javascript中字符串String与数组Array
2014/12/31 Javascript
JQ技术实现注册页面带有校验密码强度
2015/07/27 Javascript
AngularJS中的过滤器filter用法完全解析
2016/04/22 Javascript
如何用JavaScript实现动态修改CSS样式表
2016/05/20 Javascript
webix+springmvc session超时跳转登录页面
2016/10/30 Javascript
canvas学习之API整理笔记(二)
2016/12/29 Javascript
详解webpack+es6+angular1.x项目构建
2017/05/02 Javascript
利用node.js实现反向代理的方法详解
2017/07/24 Javascript
jQuery动态操作表单示例【基于table表格】
2018/12/06 jQuery
基于js实现复制内容到操作系统粘贴板过程解析
2019/10/11 Javascript
angular中的post请求处理示例详解
2020/06/30 Javascript
centos系统升级python 2.7.3
2014/07/03 Python
Python实现随机漫步功能
2018/07/09 Python
使用Py2Exe for Python3创建自己的exe程序示例
2018/10/31 Python
pymysql 插入数据 转义处理方式
2020/03/02 Python
安装多个版本的TensorFlow的方法步骤
2020/04/21 Python
Python列表去重复项的N种方法(实例代码)
2020/05/12 Python
python爬虫---requests库的用法详解
2020/09/28 Python
吃透移动端 Html5 响应式布局
2019/12/16 HTML / CSS
微软日本官方网站:Microsoft日本
2017/11/26 全球购物
办公室助理岗位职责
2013/12/25 职场文书
班主任高考寄语
2015/02/26 职场文书
python基于tkinter制作下班倒计时工具
2021/04/28 Python
mysql 如何获取两个集合的交集/差集/并集
2021/06/08 MySQL
Mysql如何实现不存在则插入,存在则更新
2022/03/25 MySQL
Java 超详细讲解十大排序算法面试无忧
2022/04/08 Java/Android