python编写softmax函数、交叉熵函数实例


Posted in Python onJune 11, 2020

python编写softmax函数、交叉熵函数实例

python代码如下:

import numpy as np
 
# Write a function that takes as input a list of numbers, and returns
# the list of values given by the softmax function.
def softmax(L):
 pass
 expL = np.exp(L)
 sumExpL = sum(expL)
 result = []
 for i in expL:
  result.append(i*1.0/sumExpL)
 return result

python编写交叉熵公式:

import numpy as np
 
def cross_entropy(Y, P):
 Y = np.float_(Y)
 P = np.float_(P)
 return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P))

补充知识:分类时,为什么不使用均方误差而是使用交叉熵作为损失函数

MSE(均方误差)对于每一个输出的结果都非常看重,而交叉熵只对正确分类的结果看重。

例如:在一个三分类模型中,模型的输出结果为(a,b,c),而真实的输出结果为(1,0,0),那么MSE与cross-entropy相对应的损失函数的值如下:

MSE:

python编写softmax函数、交叉熵函数实例

cross-entropy:

python编写softmax函数、交叉熵函数实例

从上述的公式可以看出,交叉熵的损失函数只和分类正确的预测结果有关系,而MSE的损失函数还和错误的分类有关系,该分类函数除了让正确的分类尽量变大,还会让错误的分类变得平均,但实际在分类问题中这个调整是没有必要的。

但是对于回归问题来说,这样的考虑就显得很重要了。所以,回归问题熵使用交叉上并不合适。

以上这篇python编写softmax函数、交叉熵函数实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python将html转成PDF的实现代码(包含中文)
Mar 04 Python
Python中自定义函数的教程
Apr 27 Python
qpython3 读取安卓lastpass Cookies
Jun 19 Python
Python实现的递归神经网络简单示例
Aug 11 Python
python实现BackPropagation算法
Dec 14 Python
Django 忘记管理员或忘记管理员密码 重设登录密码的方法
May 30 Python
对Django 中request.get和request.post的区别详解
Aug 12 Python
Python Django Cookie 简单用法解析
Aug 13 Python
用Python实现校园通知更新提醒功能
Nov 23 Python
keras读取训练好的模型参数并把参数赋值给其它模型详解
Jun 15 Python
学习Python爬虫的几点建议
Aug 05 Python
Django使用channels + websocket打造在线聊天室
May 20 Python
python能开发游戏吗
Jun 11 #Python
使用sklearn对多分类的每个类别进行指标评价操作
Jun 11 #Python
python属于解释语言吗
Jun 11 #Python
numpy的Fancy Indexing和array比较详解
Jun 11 #Python
python如何更新包
Jun 11 #Python
浅谈keras中自定义二分类任务评价指标metrics的方法以及代码
Jun 11 #Python
Keras中的多分类损失函数用法categorical_crossentropy
Jun 11 #Python
You might like
PHP 网页过期时间的控制代码
2009/06/29 PHP
php结合curl实现多线程抓取
2015/07/09 PHP
Yaf框架封装的MySQL数据库操作示例
2019/03/06 PHP
JavaScript 设计模式 富有表现力的Javascript(一)
2010/05/26 Javascript
js自定义鼠标右键的实现原理及源码
2014/06/23 Javascript
JS实现至少包含字母、大小写数字、字符的密码等级的两种方法
2015/02/03 Javascript
微信小程序 Video API实例详解
2016/10/02 Javascript
vue-router跳转页面的方法
2017/02/09 Javascript
node.js多个异步过程中判断执行是否完成的解决方案
2017/12/10 Javascript
es6中let和const的使用方法详解
2020/02/24 Javascript
微信小程序scroll-view实现滚动到锚点左侧导航栏点餐功能(点击种类,滚动到锚点)
2020/06/11 Javascript
纯JS开发baguetteBox.js响应式画廊插件
2020/06/28 Javascript
用js实现放大镜效果
2020/10/28 Javascript
python聊天程序实例代码分享
2013/11/18 Python
python显示天气预报
2014/03/02 Python
Python实现列表转换成字典数据结构的方法
2016/03/11 Python
Python学习小技巧之列表项的拼接
2017/05/20 Python
Python基于hashlib模块的文件MD5一致性加密验证示例
2018/02/10 Python
python 实现识别图片上的数字
2019/07/30 Python
Python中生成一个指定长度的随机字符串实现示例
2019/11/06 Python
Django密码存储策略分析
2020/01/09 Python
在pytorch中对非叶节点的变量计算梯度实例
2020/01/10 Python
Python网络爬虫四大选择器用法原理总结
2020/06/01 Python
Python中的__init__作用是什么
2020/06/09 Python
英国户外服装、鞋类和设备的领先零售商:Millets
2020/10/12 全球购物
大学生实习期自我评价范文
2013/10/03 职场文书
水果连锁超市创业计划书
2014/01/24 职场文书
《赶海》教学反思
2014/04/20 职场文书
代理协议书
2014/04/22 职场文书
2014年国庆节活动总结
2014/08/26 职场文书
2014年团员学习十八大思想汇报
2014/09/13 职场文书
毕业证丢失证明范本
2014/09/20 职场文书
2015年公务员个人工作总结
2015/04/24 职场文书
保留意见审计报告
2015/06/05 职场文书
CocosCreator如何实现划过的位置显示纹理
2021/04/14 Javascript
python Tkinter模块使用方法详解
2022/04/07 Python