Python决策树之基于信息增益的特征选择示例


Posted in Python onJune 25, 2018

本文实例讲述了Python决策树之基于信息增益的特征选择。分享给大家供大家参考,具体如下:

基于信息增益的特征选取是一种广泛使用在决策树(decision tree)分类算法中用到的特征选取。该特征选择的方法是通过计算每个特征值划分数据集获得信息增益,通过比较信息增益的大小选取合适的特征值。

一、定义

1.1 熵

信息的期望值,可理解为数据集的无序度,熵的值越大,表示数据越无序,公式如下:

Python决策树之基于信息增益的特征选择示例

其中H表示该数据集的熵值, pi表示类别i的概率, 若所有数据集只有一个类别,那么pi=1H=0。因此H=0为熵的最小值,表示该数据集完全有序。

1.2 信息增益

熵的减少或者是数据无序度的减少。

二、流程

1、计算原始数据的信息熵H1

2、选取一个特征,根据特征值对数据进行分类,再对每个类别分别计算信息熵,按比例求和,得出这种划分方式的信息熵H2

3、计算信息增益:

infoGain = H1 - H2

4、根据2,3计算所有特征属性对应的信息增益,保留信息增益较大的特征属性。

三、实例

海洋生物数据

被分类项\特征 不浮出水面是否可以生存 是否有脚蹼 属于鱼类
1
2
3
4
5

3.1 原始数据信息熵

p(是鱼类) = p1 =0.4
p(非鱼类) = p2 =0.6

通过信息熵公式可得原始数据信息熵 H1 = 0.97095

3.2 根据特征分类计算信息熵

选择'不服出水面是否可以生存'作为分析的特征属性

可将数据集分为[1,2,3]与[4,5],分别占0.6和0.4。

[1,2,3]可计算该类数据信息熵为 h1=0.918295834054

[4,5] 可计算该类数据信息熵为 h2=0

计算划分后的信息熵 H2 = 0.6 * h1 + 0.4 * h2 = 0.550977500433

3.3 计算信息增益

infoGain_0 = H1-H2 = 0.419973094022

3.4 特征选择

同理可得对特征'是否有脚蹼'该特征计算信息增益 infoGain_1 = 0.170950594455

比较可得,'不服出水面是否可以生存'所得的信息增益更大,因此在该实例中,该特征是最好用于划分数据集的特征

四、代码

# -*- coding:utf-8 -*-
#! python2
import numpy as np
from math import log
data_feature_matrix = np.array([[1, 1],
                [1, 1],
                [1, 0],
                [0, 1],
                [0, 1]]) # 特征矩阵
category = ['yes', 'yes', 'no', 'no', 'no'] # 5个对象分别所属的类别
def calc_shannon_ent(category_list):
  """
  :param category_list: 类别列表
  :return: 该类别列表的熵值
  """
  label_count = {} # 统计数据集中每个类别的个数
  num = len(category_list) # 数据集个数
  for i in range(num):
    try:
      label_count[category_list[i]] += 1
    except KeyError:
      label_count[category_list[i]] = 1
  shannon_ent = 0.
  for k in label_count:
    prob = float(label_count[k]) / num
    shannon_ent -= prob * log(prob, 2) # 计算信息熵
  return shannon_ent
def split_data(feature_matrix, category_list, feature_index, value):
  """
  筛选出指定特征值所对应的类别列表
  :param category_list: 类别列表
  :param feature_matrix: 特征矩阵
  :param feature_index: 指定特征索引
  :param value: 指定特征属性的特征值
  :return: 符合指定特征属性的特征值的类别列表
  """
  # feature_matrix = np.array(feature_matrix)
  ret_index = np.where(feature_matrix[:, feature_index] == value)[0] # 获取符合指定特征值的索引
  ret_category_list = [category_list[i] for i in ret_index] # 根据索引取得指定的所属类别,构建为列表
  return ret_category_list
def choose_best_feature(feature_matrix, category_list):
  """
  根据信息增益获取最优特征
  :param feature_matrix: 特征矩阵
  :param category_list: 类别列表
  :return: 最优特征对应的索引
  """
  feature_num = len(feature_matrix[0]) # 特征个数
  data_num = len(category_list) # 数据集的个数
  base_shannon_ent = calc_shannon_ent(category_list=category_list) # 原始数据的信息熵
  best_info_gain = 0 # 最优信息增益
  best_feature_index = -1 # 最优特征对应的索引
  for f in range(feature_num):
    uni_value_list = set(feature_matrix[:, f]) # 该特征属性所包含的特征值
    new_shannon_ent = 0.
    for value in uni_value_list:
      sub_cate_list = split_data(feature_matrix=feature_matrix, category_list=category_list, feature_index=f, value=value)
      prob = float(len(sub_cate_list)) / data_num
      new_shannon_ent += prob * calc_shannon_ent(sub_cate_list)
    info_gain = base_shannon_ent - new_shannon_ent # 信息增益
    print '初始信息熵为:', base_shannon_ent, '按照特征%i分类后的信息熵为:' % f, new_shannon_ent, '信息增益为:', info_gain
    if info_gain > best_info_gain:
      best_info_gain = info_gain
      best_feature_index = f
  return best_feature_index
if __name__ == '__main__':
  best_feature = choose_best_feature(data_feature_matrix, category)
  print '最好用于划分数据集的特征为:', best_feature

运行结果:

初始信息熵为: 0.970950594455 按照特征0分类后的信息熵为: 0.550977500433 信息增益为: 0.419973094022
初始信息熵为: 0.970950594455 按照特征1分类后的信息熵为: 0.8 信息增益为: 0.170950594455
最好用于划分数据集的特征为: 0

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
让Python代码更快运行的5种方法
Jun 21 Python
Python绘制正余弦函数图像的方法
Aug 28 Python
Python 最大概率法进行汉语切分的方法
Dec 14 Python
Python3实现的判断环形链表算法示例
Mar 07 Python
python命令行工具Click快速掌握
Jul 04 Python
python递归法实现简易连连看小游戏
Mar 25 Python
如何在VSCode上轻松舒适的配置Python的方法步骤
Oct 28 Python
wxPython电子表格功能wx.grid实例教程
Nov 19 Python
python动态文本进度条的实例代码
Jan 22 Python
PyInstaller运行原理及常用操作详解
Jun 13 Python
tensorflow基于CNN实战mnist手写识别(小白必看)
Jul 20 Python
python开发入门——set的使用
Sep 03 Python
python实现逆序输出一个数字的示例讲解
Jun 25 #Python
详解Python 数据库的Connection、Cursor两大对象
Jun 25 #Python
python逆序打印各位数字的方法
Jun 25 #Python
python爬虫的数据库连接问题【推荐】
Jun 25 #Python
python让列表倒序输出的实例
Jun 25 #Python
python实现将一个数组逆序输出的方法
Jun 25 #Python
Python机器学习库scikit-learn安装与基本使用教程
Jun 25 #Python
You might like
PHP+ajax 无刷新删除数据
2010/02/20 PHP
献给php初学者(入门学习经验谈)
2010/10/12 PHP
PHP读取RSS(Feed)简单实例
2014/06/12 PHP
php实现cookie加密的方法
2015/03/10 PHP
PHP Hash算法:Times33算法代码实例
2015/05/13 PHP
Joomla简单判断用户是否登录的方法
2016/05/04 PHP
windows系统下简单nodejs安装及环境配置
2013/01/08 NodeJs
漂亮的jquery提示效果(仿腾讯弹出层)
2013/02/05 Javascript
js 控制下拉菜单刷新的方法
2013/03/03 Javascript
JQuery实现左右滚动菜单特效
2015/09/28 Javascript
5个最顶级jQuery图表类库插件【jquery插件库】
2016/05/05 Javascript
js HTML5手机刮刮乐代码
2020/09/29 Javascript
vue2.x 父组件监听子组件事件并传回信息的方法
2017/07/17 Javascript
详解刷新页面vuex数据不消失和不跳转页面的解决
2018/01/30 Javascript
VUE中使用MUI方法
2019/02/12 Javascript
Vue双向绑定实现原理与方法详解
2020/05/07 Javascript
taro 实现购物车逻辑的实例代码
2020/06/05 Javascript
vue数据更新UI不刷新显示的解决办法
2020/08/06 Javascript
[09:33]2015国际邀请赛第四日TOP10
2015/08/08 DOTA
[48:30]LGD vs infamous Supermajor小组赛D组 BO3 第一场 6.3
2018/06/04 DOTA
零基础写python爬虫之打包生成exe文件
2014/11/06 Python
Python map和reduce函数用法示例
2015/02/26 Python
python将MongoDB里的ObjectId转换为时间戳的方法
2015/03/13 Python
简单的python后台管理程序
2017/04/13 Python
python enumerate函数的使用方法总结
2017/11/15 Python
使用matplotlib绘制图例标签中带有公式的图
2019/12/13 Python
django之导入并执行自定义的函数模块图解
2020/04/01 Python
Python多线程实现支付模拟请求过程解析
2020/04/21 Python
英国百安居装饰建材网上超市:B&Q
2016/09/13 全球购物
Pretty Green美国:英式摇滚服饰风格代表品牌之一
2019/01/23 全球购物
德国户外商店:eXXpozed
2020/07/25 全球购物
中级会计职业生涯规划书
2014/03/01 职场文书
计算机科学系职业生涯规划书
2014/03/08 职场文书
幼儿园师德师风学习材料
2014/05/29 职场文书
初中作文评语
2014/12/25 职场文书
前台接待员岗位职责
2015/04/15 职场文书