python编写softmax函数、交叉熵函数实例


Posted in Python onJune 11, 2020

python编写softmax函数、交叉熵函数实例

python代码如下:

import numpy as np
 
# Write a function that takes as input a list of numbers, and returns
# the list of values given by the softmax function.
def softmax(L):
 pass
 expL = np.exp(L)
 sumExpL = sum(expL)
 result = []
 for i in expL:
  result.append(i*1.0/sumExpL)
 return result

python编写交叉熵公式:

import numpy as np
 
def cross_entropy(Y, P):
 Y = np.float_(Y)
 P = np.float_(P)
 return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P))

补充知识:分类时,为什么不使用均方误差而是使用交叉熵作为损失函数

MSE(均方误差)对于每一个输出的结果都非常看重,而交叉熵只对正确分类的结果看重。

例如:在一个三分类模型中,模型的输出结果为(a,b,c),而真实的输出结果为(1,0,0),那么MSE与cross-entropy相对应的损失函数的值如下:

MSE:

python编写softmax函数、交叉熵函数实例

cross-entropy:

python编写softmax函数、交叉熵函数实例

从上述的公式可以看出,交叉熵的损失函数只和分类正确的预测结果有关系,而MSE的损失函数还和错误的分类有关系,该分类函数除了让正确的分类尽量变大,还会让错误的分类变得平均,但实际在分类问题中这个调整是没有必要的。

但是对于回归问题来说,这样的考虑就显得很重要了。所以,回归问题熵使用交叉上并不合适。

以上这篇python编写softmax函数、交叉熵函数实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现简单状态框架的方法
Mar 19 Python
Python升级导致yum、pip报错的解决方法
Sep 06 Python
Python实现的对本地host127.0.0.1主机进行扫描端口功能示例
Feb 15 Python
python pickle存储、读取大数据量列表、字典数据的方法
Jul 07 Python
Pytorch中Tensor与各种图像格式的相互转化详解
Dec 26 Python
Python super()方法原理详解
Mar 31 Python
Python捕获异常堆栈信息的几种方法(小结)
May 18 Python
opencv 查找连通区域 最大面积实例
Jun 04 Python
Python数据类型最全知识总结
May 31 Python
使用pycharm运行flask应用程序的详细教程
Jun 07 Python
python基础入门之普通操作与函数(三)
Jun 13 Python
Pytest中conftest.py的用法
Jun 27 Python
python能开发游戏吗
Jun 11 #Python
使用sklearn对多分类的每个类别进行指标评价操作
Jun 11 #Python
python属于解释语言吗
Jun 11 #Python
numpy的Fancy Indexing和array比较详解
Jun 11 #Python
python如何更新包
Jun 11 #Python
浅谈keras中自定义二分类任务评价指标metrics的方法以及代码
Jun 11 #Python
Keras中的多分类损失函数用法categorical_crossentropy
Jun 11 #Python
You might like
PHP警告Cannot use a scalar value as an array的解决方法
2012/01/11 PHP
yii2.0之GridView自定义按钮和链接用法
2014/12/15 PHP
thinkphp跨库操作的简单代码实例
2016/09/22 PHP
Laravel重定向,a链接跳转,控制器跳转示例
2019/10/22 PHP
html超链接打开窗口大小的方法
2013/03/05 Javascript
深入理解JavaScript系列(35):设计模式之迭代器模式详解
2015/03/03 Javascript
浅谈Javascript实现继承的方法
2015/07/06 Javascript
JavaScript实现点击单选按钮改变输入框中文本域内容的方法
2015/08/12 Javascript
js实现的黑背景灰色二级导航菜单效果代码
2015/08/24 Javascript
学习AngularJs:Directive指令用法(完整版)
2016/04/26 Javascript
JS图片等比例缩放方法完整示例
2016/08/03 Javascript
axios封装,使用拦截器统一处理接口,超详细的教程(推荐)
2019/05/02 Javascript
在layui中使用form表单监听ajax异步验证注册的实例
2019/09/03 Javascript
解决vue-cli@3.xx安装不成功的问题及搭建ts-vue项目
2020/02/09 Javascript
js正则表达式简单校验方法
2021/01/03 Javascript
[04:40]2016国际邀请赛中国区预选赛全程TOP10镜头集锦
2016/07/01 DOTA
Python3中的真除和Floor除法用法分析
2016/03/16 Python
深入理解Django中内置的用户认证
2017/10/06 Python
Android基于TCP和URL协议的网络编程示例【附demo源码下载】
2018/01/23 Python
TensorFlow实现MLP多层感知机模型
2018/03/09 Python
python如何为被装饰的函数保留元数据
2018/03/21 Python
详解python执行shell脚本创建用户及相关操作
2019/04/11 Python
python日期与时间戳的各种转换示例
2020/02/12 Python
python 绘制国旗的示例
2020/09/27 Python
ellesse美国官方商店:意大利高级运动服品牌
2019/10/29 全球购物
巴西葡萄酒商店:Divvino
2020/02/22 全球购物
10条PHP编程习惯
2014/05/26 面试题
十一个高级MySql面试题
2014/10/06 面试题
教师自我反思材料
2014/02/14 职场文书
技术合作协议书范本
2014/04/18 职场文书
社区禁毒工作方案
2014/06/02 职场文书
学校领导班子群众路线整改措施
2014/09/16 职场文书
优秀高中学生评语
2014/12/30 职场文书
Tomcat项目启动失败的原因和解决办法
2022/04/20 Servers
Spring Boot配合PageHelper优化大表查询数据分页
2022/04/20 Java/Android
Windows Server 2008 修改远程登录端口以及配置防火墙
2022/04/28 Servers