python实现决策树ID3算法的示例代码


Posted in Python onMay 30, 2018

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释,如何实现呢?核心点有如下几个步骤

step1:计算香农熵

from math import log
import operator


# 计算香农熵
def calculate_entropy(data):
  label_counts = {}
  for feature_data in data:
    laber = feature_data[-1] # 最后一行是laber
    if laber not in label_counts.keys():
      label_counts[laber] = 0
    label_counts[laber] += 1

  count = len(data)
  entropy = 0.0

  for key in label_counts:
    prob = float(label_counts[key]) / count
    entropy -= prob * log(prob, 2)
  return entropy

step2.计算某个feature的信息增益的方法

# 计算某个feature的信息增益
# index:要计算信息增益的feature 对应的在data 的第几列
# data 的香农熵
def calculate_relative_entropy(data, index, entropy):
  feat_list = [number[index] for number in data] # 得到某个特征下所有值(某列)
  uniqual_vals = set(feat_list)
  new_entropy = 0
  for value in uniqual_vals:
    sub_data = split_data(data, index, value)
    prob = len(sub_data) / float(len(data)) 
    new_entropy += prob * calculate_entropy(sub_data) # 对各子集香农熵求和
  relative_entropy = entropy - new_entropy # 计算信息增益
  return relative_entropy

step3.选择最大信息增益的feature

# 选择最大信息增益的feature
def choose_max_relative_entropy(data):
  num_feature = len(data[0]) - 1
  base_entropy = calculate_entropy(data)#香农熵
  best_infor_gain = 0
  best_feature = -1
  for i in range(num_feature):
    info_gain=calculate_relative_entropy(data, i, base_entropy)
    #最大信息增益
    if (info_gain > best_infor_gain):
      best_infor_gain = info_gain
      best_feature = i

  return best_feature

step4.构建决策树

def create_decision_tree(data, labels):
  class_list=[example[-1] for example in data]
  # 类别相同,停止划分
  if class_list.count(class_list[-1]) == len(class_list):
    return class_list[-1]
  # 判断是否遍历完所有的特征时返回个数最多的类别
  if len(data[0]) == 1:
    return most_class(class_list)
  # 按照信息增益最高选取分类特征属性
  best_feat = choose_max_relative_entropy(data)
  best_feat_lable = labels[best_feat] # 该特征的label
  decision_tree = {best_feat_lable: {}} # 构建树的字典
  del(labels[best_feat]) # 从labels的list中删除该label
  feat_values = [example[best_feat] for example in data]
  unique_values = set(feat_values)
  for value in unique_values:
    sub_lables=labels[:]
    # 构建数据的子集合,并进行递归
    decision_tree[best_feat_lable][value] = create_decision_tree(split_data(data, best_feat, value), sub_lables)
  return decision_tree

在构建决策树的过程中会用到两个工具方法:

# 当遍历完所有的特征时返回个数最多的类别
def most_class(classList):
  class_count={}
  for vote in classList:
    if vote not in class_count.keys():class_count[vote]=0
    class_count[vote]+=1
  sorted_class_count=sorted(class_count.items,key=operator.itemgetter(1),reversed=True)
  return sorted_class_count[0][0]
  
# 工具函数输入三个变量(待划分的数据集,特征,分类值)返回不含划分特征的子集
def split_data(data, axis, value):
  ret_data=[]
  for feat_vec in data:
    if feat_vec[axis]==value :
      reduce_feat_vec=feat_vec[:axis]
      reduce_feat_vec.extend(feat_vec[axis+1:])
      ret_data.append(reduce_feat_vec)
  return ret_data

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python挑选文件夹里宽大于300图片的方法
Mar 05 Python
使用Python编写vim插件的简单示例
Apr 17 Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 Python
Python+request+unittest实现接口测试框架集成实例
Mar 16 Python
python使用Tesseract库识别验证
Mar 21 Python
Django自定义用户登录认证示例代码
Jun 30 Python
Python中 CSV格式清洗与转换的实例代码
Aug 29 Python
用python中的matplotlib绘制方程图像代码
Nov 21 Python
python:动态路由的Flask程序代码
Nov 22 Python
使用pyhon绘图比较两个手机屏幕大小(实例代码)
Jan 03 Python
Python os模块常用方法和属性总结
Feb 20 Python
python绘图pyecharts+pandas的使用详解
Dec 13 Python
浅谈Django中的数据库模型类-models.py(一对一的关系)
May 30 #Python
Python实现的读取电脑硬件信息功能示例
May 30 #Python
Python应用库大全总结
May 30 #Python
Django中反向生成models.py的实例讲解
May 30 #Python
Python RabbitMQ消息队列实现rpc
May 30 #Python
python日期时间转为字符串或者格式化输出的实例
May 29 #Python
python 集合 并集、交集 Series list set 转换的实例
May 29 #Python
You might like
如何用phpmyadmin设置mysql数据库用户的权限
2012/01/09 PHP
php控制文件下载速度的方法
2015/03/24 PHP
php生成图片验证码的方法
2016/04/15 PHP
Zend Framework动作控制器用法示例
2016/12/09 PHP
jQuery EasyUI API 中文文档 - Documentation 文档
2011/09/29 Javascript
seajs1.3.0源码解析之module依赖有序加载
2012/11/07 Javascript
基于JavaScript自定义构造函数的详解说明
2013/04/24 Javascript
HTML页面滚动时获取离页面顶部的距离2种实现方法
2013/09/05 Javascript
jquery获取一组checkbox的值(实例代码)
2013/11/04 Javascript
js中数组排序sort方法的原理分析
2014/11/20 Javascript
JavaScript模拟实现键盘打字效果
2015/06/29 Javascript
javascript中setTimeout使用指南
2015/07/26 Javascript
有关文件上传 非ajax提交 得到后台数据问题
2016/10/12 Javascript
javascript实现消灭星星小游戏简单版
2016/11/15 Javascript
es6学习笔记之Async函数的使用示例
2017/05/11 Javascript
JS实现评价的星星功能
2017/08/20 Javascript
jquery ajaxfileupload异步上传插件
2017/11/21 jQuery
Layui给switch添加响应事件的例子
2019/09/03 Javascript
layui table 列宽百分比显示的实现方法
2019/09/28 Javascript
[09:59]DOTA2-DPC中国联赛2月7日Recap集锦
2021/03/11 DOTA
Python常用列表数据结构小结
2014/08/06 Python
Python使用cx_Oracle调用Oracle存储过程的方法示例
2017/10/07 Python
Python使用matplotlib实现基础绘图功能示例
2018/07/03 Python
python判断字符串或者集合是否为空的实例
2019/01/23 Python
Python实现的服务器示例小结【单进程、多进程、多线程、非阻塞式】
2019/05/23 Python
在django中自定义字段Field详解
2019/12/03 Python
calendar在python3时间中常用函数举例详解
2020/11/18 Python
J2EE中的容器都包括哪些
2013/08/21 面试题
分居协议书范本
2014/11/03 职场文书
五年级小学生评语
2014/12/26 职场文书
感谢信怎么写
2015/01/21 职场文书
财务部岗位职责
2015/02/03 职场文书
测量员岗位职责
2015/02/14 职场文书
2016年教师党员承诺书范文
2016/03/24 职场文书
Python语法学习之进程的创建与常用方法详解
2022/04/08 Python
零基础学java之带返回值的方法的定义和调用
2022/04/10 Java/Android