python实现求特征选择的信息增益


Posted in Python onDecember 18, 2018

使用python语言,实现求特征选择的信息增益,可以同时满足特征中有连续型和二值离散型属性的情况。

师兄让我做一个特征选择的代码,我在网上找了一下,大部分都是用来求离散型属性的信息益益,但是我的数据是同时包含二值离散型和连续型属性的,所以这里实现了一下。

代码块

import numpy as np
import math

class IG():
  def __init__(self,X,y):

    X = np.array(X)
    n_feature = np.shape(X)[1]
    n_y = len(y)

    orig_H = 0
    for i in set(y):
      orig_H += -(y.count(i)/n_y)*math.log(y.count(i)/n_y)

    condi_H_list = []
    for i in range(n_feature):
      feature = X[:,i]
      sourted_feature = sorted(feature)
      threshold = [(sourted_feature[inde-1]+sourted_feature[inde])/2 for inde in range(len(feature)) if inde != 0 ]

      thre_set = set(threshold)
      if float(max(feature)) in thre_set:
        thre_set.remove(float(max(feature)))
      if min(feature) in thre_set:
        thre_set.remove(min(feature))
      pre_H = 0
      for thre in thre_set:
        lower = [y[s] for s in range(len(feature)) if feature[s] < thre]
        highter = [y[s] for s in range(len(feature)) if feature[s] > thre]
        H_l = 0
        for l in set(lower):
          H_l += -(lower.count(l) / len(lower))*math.log(lower.count(l) / len(lower))
        H_h = 0
        for h in set(highter):
          H_h += -(highter.count(h) / len(highter))*math.log(highter.count(h) / len(highter))
        temp_condi_H = len(lower)/n_y *H_l+ len(highter)/n_y * H_h
        condi_H = orig_H - temp_condi_H
        pre_H = max(pre_H,condi_H)
      condi_H_list.append(pre_H)

    self.IG = condi_H_list


  def getIG(self):
    return self.IG

if __name__ == "__main__":


  X = [[1, 0, 0, 1],
     [0, 1, 1, 1],
     [0, 0, 1, 0]]
  y = [0, 0, 1]


  print(IG(X,y).getIG())

输出结果为:

[0.17441604792151594, 0.17441604792151594, 0.17441604792151594, 0.6365141682948128]

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python获得两个数组交集、并集、差集的方法
Mar 27 Python
Python中处理字符串之endswith()方法的使用简介
May 18 Python
python交互式图形编程实例(二)
Nov 17 Python
使用pygame模块编写贪吃蛇的实例讲解
Feb 05 Python
浅谈python str.format与制表符\t关于中文对齐的细节问题
Jan 14 Python
PyQt5实现简单数据标注工具
Mar 18 Python
pyhton中__pycache__文件夹的产生与作用详解
Nov 24 Python
Python编程快速上手——疯狂填词程序实现方法分析
Feb 29 Python
Python如何定义有可选参数的元类
Jul 31 Python
Pandas数据分析的一些常用小技巧
Feb 07 Python
python 遍历磁盘目录的三种方法
Apr 02 Python
Python Django模型详解
Oct 05 Python
python实现连续图文识别
Dec 18 #Python
Django ManyToManyField 跨越中间表查询的方法
Dec 18 #Python
Python列表list排列组合操作示例
Dec 18 #Python
python实现二维插值的三维显示
Dec 17 #Python
Python实现分段线性插值
Dec 17 #Python
Python 获取主机ip与hostname的方法
Dec 17 #Python
使用 Visual Studio Code(VSCode)搭建简单的Python+Django开发环境的方法步骤
Dec 17 #Python
You might like
PHP获取当前文件所在目录 getcwd()函数
2009/05/13 PHP
php使用标签替换的方式生成静态页面
2015/05/21 PHP
PHP扩展迁移为PHP7扩展兼容性问题记录
2016/02/15 PHP
ThinkPHP项目分组配置方法分析
2016/03/23 PHP
php 5.4 全新的代码复用Trait详解
2017/01/05 PHP
php使用Jpgraph创建折线图效果示例
2017/02/15 PHP
xtree.js 代码
2007/03/13 Javascript
js实现从数组里随机获取元素
2015/01/12 Javascript
jquery插件orbit.js实现图片折叠轮换特效
2015/04/14 Javascript
jQuery平滑旋转幻灯片特效代码分享
2015/09/07 Javascript
jQuery实现带玻璃流光质感的手风琴特效
2015/11/20 Javascript
浅谈javascript的call()、apply()、bind()的用法
2016/02/21 Javascript
jQuery+正则+文本框只能输入数字的实现方法
2016/10/07 Javascript
微信小程序 swiper组件详解及实例代码
2016/10/25 Javascript
jQuery监听浏览器窗口大小的变化实例
2017/02/07 Javascript
使用JavaScript进行表单校验功能
2017/08/01 Javascript
AngularJS与后端php的数据交互方法
2018/08/13 Javascript
微信小程序实现一张或多张图片上传(云开发)
2019/09/25 Javascript
JavaScript实现PC端四格密码输入框功能
2020/02/19 Javascript
JS array数组检测方式解析
2020/05/19 Javascript
webpack4从0搭建组件库的实现
2020/11/29 Javascript
[03:05]DOTA2英雄基础教程 嗜血狂魔
2013/12/10 DOTA
[01:18]PWL开团时刻DAY10——一拳超人
2020/11/11 DOTA
Python全局变量操作详解
2015/04/14 Python
用Python写王者荣耀刷金币脚本
2017/12/21 Python
Python实现连接两个无规则列表后删除重复元素并升序排序的方法
2018/02/05 Python
Python Excel处理库openpyxl使用详解
2019/05/09 Python
使用GitHub和Python实现持续部署的方法
2019/05/09 Python
Pycharm2020.1安装中文语言插件的详细教程(不需要汉化)
2020/08/07 Python
美国50岁以上单身人士约会平台:SilverSingles
2018/06/29 全球购物
三方协议书范本
2014/04/22 职场文书
525心理活动总结
2014/07/04 职场文书
党的群众路线教育实践活动总结
2014/10/30 职场文书
党员倡议书
2015/01/19 职场文书
搞笑欢迎词大全
2015/09/30 职场文书
DE1103使用报告
2022/04/05 无线电