Python计算信息熵实例


Posted in Python onJune 18, 2020

计算信息熵的公式:n是类别数,p(xi)是第i类的概率

Python计算信息熵实例

假设数据集有m行,即m个样本,每一行最后一列为该样本的标签,计算数据集信息熵的代码如下:

from math import log
 
def calcShannonEnt(dataSet):
  numEntries = len(dataSet) # 样本数
  labelCounts = {} # 该数据集每个类别的频数
  for featVec in dataSet: # 对每一行样本
    currentLabel = featVec[-1] # 该样本的标签
    if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1 
  shannonEnt = 0.0
  for key in labelCounts:
    prob = float(labelCounts[key])/numEntries # 计算p(xi)
    shannonEnt -= prob * log(prob, 2) # log base 2
  return shannonEnt

补充知识:python 实现信息熵、条件熵、信息增益、基尼系数

我就废话不多说了,大家还是直接看代码吧~

import pandas as pd
import numpy as np
import math
## 计算信息熵
def getEntropy(s):
  # 找到各个不同取值出现的次数
  if not isinstance(s, pd.core.series.Series):
    s = pd.Series(s)
  prt_ary = pd.groupby(s , by = s).count().values / float(len(s))
  return -(np.log2(prt_ary) * prt_ary).sum()
## 计算条件熵: 条件s1下s2的条件熵
def getCondEntropy(s1 , s2):
  d = dict()
  for i in list(range(len(s1))):
    d[s1[i]] = d.get(s1[i] , []) + [s2[i]]
  return sum([getEntropy(d[k]) * len(d[k]) / float(len(s1)) for k in d])

## 计算信息增益
def getEntropyGain(s1, s2):
  return getEntropy(s2) - getCondEntropy(s1, s2)

## 计算增益率
def getEntropyGainRadio(s1, s2):
  return getEntropyGain(s1, s2) / getEntropy(s2)

## 衡量离散值的相关性
import math
def getDiscreteCorr(s1, s2):
  return getEntropyGain(s1,s2) / math.sqrt(getEntropy(s1) * getEntropy(s2))

# ######## 计算概率平方和
def getProbSS(s):
  if not isinstance(s, pd.core.series.Series):
    s = pd.Series(s)
  prt_ary = pd.groupby(s, by = s).count().values / float(len(s))
  return sum(prt_ary ** 2)
######## 计算基尼系数
def getGini(s1, s2):
  d = dict()
  for i in list(range(len(s1))):
    d[s1[i]] = d.get(s1[i] , []) + [s2[i]]
  return 1-sum([getProbSS(d[k]) * len(d[k]) / float(len(s1)) for k in d])
## 对离散型变量计算相关系数,并画出热力图, 返回相关性矩阵
def DiscreteCorr(C_data):
  ## 对离散型变量(C_data)进行相关系数的计算
  C_data_column_names = C_data.columns.tolist()
  ## 存储C_data相关系数的矩阵
  import numpy as np
  dp_corr_mat = np.zeros([len(C_data_column_names) , len(C_data_column_names)])
  for i in range(len(C_data_column_names)):
    for j in range(len(C_data_column_names)):
      # 计算两个属性之间的相关系数
      temp_corr = getDiscreteCorr(C_data.iloc[:,i] , C_data.iloc[:,j])
      dp_corr_mat[i][j] = temp_corr
  # 画出相关系数图
  fig = plt.figure()
  fig.add_subplot(2,2,1)
  sns.heatmap(dp_corr_mat ,vmin= - 1, vmax= 1, cmap= sns.color_palette('RdBu' , n_colors= 128) , xticklabels= C_data_column_names , yticklabels= C_data_column_names)
  return pd.DataFrame(dp_corr_mat)

if __name__ == "__main__":
  s1 = pd.Series(['X1' , 'X1' , 'X2' , 'X2' , 'X2' , 'X2'])
  s2 = pd.Series(['Y1' , 'Y1' , 'Y1' , 'Y2' , 'Y2' , 'Y2'])
  print('CondEntropy:',getCondEntropy(s1, s2))
  print('EntropyGain:' , getEntropyGain(s1, s2))
  print('EntropyGainRadio' , getEntropyGainRadio(s1 , s2))
  print('DiscreteCorr:' , getDiscreteCorr(s1, s1))
  print('Gini' , getGini(s1, s2))

以上这篇Python计算信息熵实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中的super用法详解
May 28 Python
十条建议帮你提高Python编程效率
Feb 16 Python
python爬虫实现教程转换成 PDF 电子书
Feb 19 Python
python、java等哪一门编程语言适合人工智能?
Nov 13 Python
django连接mysql配置方法总结(推荐)
Aug 18 Python
Python-Tkinter Text输入内容在界面显示的实例
Jul 12 Python
python 计算两个列表的相关系数的实现
Aug 29 Python
tensorboard实现同时显示训练曲线和测试曲线
Jan 21 Python
Pycharm github配置实现过程图解
Oct 13 Python
深入探讨opencv图像矫正算法实战
May 21 Python
健身房被搭讪?用python写了个小米计时器助人为乐
Jun 08 Python
Python中super().__init__()测试以及理解
Dec 06 Python
python导入库的具体方法
Jun 18 #Python
如何基于Python代码实现高精度免费OCR工具
Jun 18 #Python
python软件都是免费的吗
Jun 18 #Python
python中return如何写
Jun 18 #Python
python对一个数向上取整的实例方法
Jun 18 #Python
Python基于time模块表示时间常用方法
Jun 18 #Python
numpy 矩阵形状调整:拉伸、变成一位数组的实例
Jun 18 #Python
You might like
ThinkPHP开发框架函数详解:C方法
2015/08/14 PHP
php实现生成验证码实例分享
2016/04/10 PHP
PHP入门教程之图像处理技巧分析
2016/09/11 PHP
PHP多进程编程实例详解
2017/07/19 PHP
php记录搜索引擎爬行记录的实现代码
2018/03/02 PHP
php实例化一个类的具体方法
2019/09/19 PHP
网站被黑的假象--ARP欺骗之页面中加入一段js
2007/05/16 Javascript
setTimeout函数兼容各主流浏览器运行执行效果实例
2013/06/13 Javascript
JS自调用匿名函数具体实现
2014/02/11 Javascript
jquery高级编程的最佳实践详解
2014/03/23 Javascript
微信企业号开发之微信考勤百度地图定位
2015/09/11 Javascript
JavaScript基于自定义函数判断变量类型的实现方法
2016/11/23 Javascript
ES6新特性五:Set与Map的数据结构实例分析
2017/04/21 Javascript
Bootstrap的aria-label和aria-labelledby属性实例详解
2018/11/02 Javascript
发布一款npm包帮助理解npm的使用
2019/01/03 Javascript
vue实现压缩图片预览并上传功能(promise封装)
2019/01/10 Javascript
微信小程序实现的绘制table表格功能示例
2019/04/26 Javascript
webpack是如何实现模块化加载的方法
2019/11/06 Javascript
javascript实现前端input密码输入强度验证
2020/06/24 Javascript
解决ant-design-vue中menu菜单无法默认展开的问题
2020/10/31 Javascript
[02:06]DOTA2肉山黑名单魔法终结者 敌法师中文配音鉴赏
2013/06/17 DOTA
在Python中操作列表之List.pop()方法的使用
2015/05/21 Python
Python利用BeautifulSoup解析Html的方法示例
2017/07/30 Python
python自动查询12306余票并发送邮箱提醒脚本
2018/05/21 Python
使用python的pandas库读取csv文件保存至mysql数据库
2018/08/20 Python
PyCharm使用之配置SSH Interpreter的方法步骤
2019/12/26 Python
如何将tensorflow训练好的模型移植到Android (MNIST手写数字识别)
2020/04/22 Python
HTML5之WebGL 3D概述(上)—WebGL原生开发开启网页3D渲染新时代
2013/01/31 HTML / CSS
TUMI新加坡官网:国际领先的商旅箱包品牌
2019/01/12 全球购物
写一个方法1000的阶乘
2012/11/21 面试题
介绍一下Ruby的多线程处理
2013/02/01 面试题
实习生体会的自我评价范文
2013/11/28 职场文书
实习单位评语
2014/04/26 职场文书
2014新生大学四年计划书
2014/09/21 职场文书
Android Studio 计算器开发
2022/05/20 Java/Android
MySQL主从切换的超详细步骤
2022/06/28 MySQL