Python计算信息熵实例


Posted in Python onJune 18, 2020

计算信息熵的公式:n是类别数,p(xi)是第i类的概率

Python计算信息熵实例

假设数据集有m行,即m个样本,每一行最后一列为该样本的标签,计算数据集信息熵的代码如下:

from math import log
 
def calcShannonEnt(dataSet):
  numEntries = len(dataSet) # 样本数
  labelCounts = {} # 该数据集每个类别的频数
  for featVec in dataSet: # 对每一行样本
    currentLabel = featVec[-1] # 该样本的标签
    if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1 
  shannonEnt = 0.0
  for key in labelCounts:
    prob = float(labelCounts[key])/numEntries # 计算p(xi)
    shannonEnt -= prob * log(prob, 2) # log base 2
  return shannonEnt

补充知识:python 实现信息熵、条件熵、信息增益、基尼系数

我就废话不多说了,大家还是直接看代码吧~

import pandas as pd
import numpy as np
import math
## 计算信息熵
def getEntropy(s):
  # 找到各个不同取值出现的次数
  if not isinstance(s, pd.core.series.Series):
    s = pd.Series(s)
  prt_ary = pd.groupby(s , by = s).count().values / float(len(s))
  return -(np.log2(prt_ary) * prt_ary).sum()
## 计算条件熵: 条件s1下s2的条件熵
def getCondEntropy(s1 , s2):
  d = dict()
  for i in list(range(len(s1))):
    d[s1[i]] = d.get(s1[i] , []) + [s2[i]]
  return sum([getEntropy(d[k]) * len(d[k]) / float(len(s1)) for k in d])

## 计算信息增益
def getEntropyGain(s1, s2):
  return getEntropy(s2) - getCondEntropy(s1, s2)

## 计算增益率
def getEntropyGainRadio(s1, s2):
  return getEntropyGain(s1, s2) / getEntropy(s2)

## 衡量离散值的相关性
import math
def getDiscreteCorr(s1, s2):
  return getEntropyGain(s1,s2) / math.sqrt(getEntropy(s1) * getEntropy(s2))

# ######## 计算概率平方和
def getProbSS(s):
  if not isinstance(s, pd.core.series.Series):
    s = pd.Series(s)
  prt_ary = pd.groupby(s, by = s).count().values / float(len(s))
  return sum(prt_ary ** 2)
######## 计算基尼系数
def getGini(s1, s2):
  d = dict()
  for i in list(range(len(s1))):
    d[s1[i]] = d.get(s1[i] , []) + [s2[i]]
  return 1-sum([getProbSS(d[k]) * len(d[k]) / float(len(s1)) for k in d])
## 对离散型变量计算相关系数,并画出热力图, 返回相关性矩阵
def DiscreteCorr(C_data):
  ## 对离散型变量(C_data)进行相关系数的计算
  C_data_column_names = C_data.columns.tolist()
  ## 存储C_data相关系数的矩阵
  import numpy as np
  dp_corr_mat = np.zeros([len(C_data_column_names) , len(C_data_column_names)])
  for i in range(len(C_data_column_names)):
    for j in range(len(C_data_column_names)):
      # 计算两个属性之间的相关系数
      temp_corr = getDiscreteCorr(C_data.iloc[:,i] , C_data.iloc[:,j])
      dp_corr_mat[i][j] = temp_corr
  # 画出相关系数图
  fig = plt.figure()
  fig.add_subplot(2,2,1)
  sns.heatmap(dp_corr_mat ,vmin= - 1, vmax= 1, cmap= sns.color_palette('RdBu' , n_colors= 128) , xticklabels= C_data_column_names , yticklabels= C_data_column_names)
  return pd.DataFrame(dp_corr_mat)

if __name__ == "__main__":
  s1 = pd.Series(['X1' , 'X1' , 'X2' , 'X2' , 'X2' , 'X2'])
  s2 = pd.Series(['Y1' , 'Y1' , 'Y1' , 'Y2' , 'Y2' , 'Y2'])
  print('CondEntropy:',getCondEntropy(s1, s2))
  print('EntropyGain:' , getEntropyGain(s1, s2))
  print('EntropyGainRadio' , getEntropyGainRadio(s1 , s2))
  print('DiscreteCorr:' , getDiscreteCorr(s1, s1))
  print('Gini' , getGini(s1, s2))

以上这篇Python计算信息熵实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python多线程编程(三):threading.Thread类的重要函数和方法
Apr 05 Python
使用pyecharts无法import Bar的解决方案
Apr 23 Python
Python实现的绘制三维双螺旋线图形功能示例
Jun 23 Python
Pycharm+Scrapy安装并且初始化项目的方法
Jan 15 Python
使用pandas把某一列的字符值转换为数字的实例
Jan 29 Python
Python基础教程之if判断,while循环,循环嵌套
Apr 25 Python
python绘制彩虹图
Dec 16 Python
python实现FTP循环上传文件
Mar 20 Python
jupyter notebook 添加kernel permission denied的操作
Apr 21 Python
python:删除离群值操作(每一行为一类数据)
Jun 08 Python
Python如何实现自带HTTP文件传输服务
Jul 08 Python
浅谈Python数学建模之数据导入
Jun 23 Python
python导入库的具体方法
Jun 18 #Python
如何基于Python代码实现高精度免费OCR工具
Jun 18 #Python
python软件都是免费的吗
Jun 18 #Python
python中return如何写
Jun 18 #Python
python对一个数向上取整的实例方法
Jun 18 #Python
Python基于time模块表示时间常用方法
Jun 18 #Python
numpy 矩阵形状调整:拉伸、变成一位数组的实例
Jun 18 #Python
You might like
用文本文件制作留言板提示(上)
2006/10/09 PHP
一个好用的PHP验证码类实例分享
2013/12/27 PHP
PHP基于DateTime类解决Unix时间戳与日期互转问题【针对1970年前及2038年后时间戳】
2018/06/13 PHP
在Laravel中使用GuzzleHttp调用第三方服务的API接口代码
2019/10/15 PHP
一个对于Array的简单扩展
2006/10/03 Javascript
jquery使用ajax实现微信自动回复插件
2014/04/28 Javascript
自编jQuery插件实现模拟alert和confirm
2014/09/01 Javascript
node.js中的fs.stat方法使用说明
2014/12/16 Javascript
javascript实现瀑布流自适应遇到的问题及解决方案
2015/01/28 Javascript
js实现有时间限制消失的图片方法
2015/02/27 Javascript
$.extend 的一个小问题
2015/06/18 Javascript
jQuery检查事件是否触发的方法
2015/06/26 Javascript
js实现文本框支持加减运算的方法
2015/08/19 Javascript
JS实现合并两个数组并去除重复项只留一个的方法
2015/12/17 Javascript
Bootstrap多级导航栏(级联导航)的实现代码
2016/03/08 Javascript
基于jQuery实现一个marquee无缝滚动的插件
2017/03/09 Javascript
JS实现图片居中悬浮效果
2017/12/25 Javascript
Node.js上传文件功能之服务端如何获取文件上传进度
2018/02/05 Javascript
vue脚手架搭建项目的兼容性配置详解
2018/07/17 Javascript
Node.JS用纯JavaScript生成图片或滑块式验证码功能
2019/09/12 Javascript
python实现数独算法实例
2015/06/09 Python
Tensorflow实现卷积神经网络用于人脸关键点识别
2018/03/05 Python
django解决跨域请求的问题详解
2019/01/20 Python
python实现简单颜色识别程序
2020/02/19 Python
python实现数字炸弹游戏程序
2020/07/17 Python
浅谈html5之sse服务器发送事件EventSource介绍
2017/08/28 HTML / CSS
Java中的类包括什么内容?设计时要注意哪些方面
2012/05/23 面试题
专业毕业生个性的自我评价
2013/10/03 职场文书
公司离职证明范本
2014/01/13 职场文书
违反学校规定检讨书
2014/01/18 职场文书
《春笋》教学反思
2014/04/15 职场文书
四风问题对照检查材料思想汇报
2014/10/07 职场文书
2015年世界环境日活动总结
2015/02/11 职场文书
2015年光棍节活动总结
2015/03/24 职场文书
审查起诉阶段律师意见书
2015/05/19 职场文书
小学校长开学致辞
2015/07/29 职场文书