python实现决策树C4.5算法详解(在ID3基础上改进)


Posted in Python onMay 31, 2017

一、概论

C4.5主要是在ID3的基础上改进,ID3选择(属性)树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。

二、信息增益

python实现决策树C4.5算法详解(在ID3基础上改进)

以上公式是求信息增益率(ID3的知识点)

三、信息增益率

python实现决策树C4.5算法详解(在ID3基础上改进)

信息增益率是在求出信息增益值在除以python实现决策树C4.5算法详解(在ID3基础上改进)

例如下面公式为求属性为“outlook”的python实现决策树C4.5算法详解(在ID3基础上改进)值:

python实现决策树C4.5算法详解(在ID3基础上改进)

四、C4.5的完整代码

from numpy import *
from scipy import *
from math import log
import operator

#计算给定数据的香浓熵:
def calcShannonEnt(dataSet):
 numEntries = len(dataSet) 
 labelCounts = {} #类别字典(类别的名称为键,该类别的个数为值)
 for featVec in dataSet:
  currentLabel = featVec[-1] 
  if currentLabel not in labelCounts.keys(): #还没添加到字典里的类型
   labelCounts[currentLabel] = 0;
  labelCounts[currentLabel] += 1;
 shannonEnt = 0.0 
 for key in labelCounts: #求出每种类型的熵
  prob = float(labelCounts[key])/numEntries #每种类型个数占所有的比值
  shannonEnt -= prob * log(prob, 2)
 return shannonEnt; #返回熵

#按照给定的特征划分数据集
def splitDataSet(dataSet, axis, value):
 retDataSet = [] 
 for featVec in dataSet: #按dataSet矩阵中的第axis列的值等于value的分数据集
  if featVec[axis] == value:  #值等于value的,每一行为新的列表(去除第axis个数据)
   reducedFeatVec = featVec[:axis]
   reducedFeatVec.extend(featVec[axis+1:]) 
   retDataSet.append(reducedFeatVec) 
 return retDataSet #返回分类后的新矩阵

#选择最好的数据集划分方式
def chooseBestFeatureToSplit(dataSet): 
 numFeatures = len(dataSet[0])-1 #求属性的个数
 baseEntropy = calcShannonEnt(dataSet)
 bestInfoGain = 0.0; bestFeature = -1 
 for i in range(numFeatures): #求所有属性的信息增益
  featList = [example[i] for example in dataSet] 
  uniqueVals = set(featList) #第i列属性的取值(不同值)数集合
  newEntropy = 0.0 
  splitInfo = 0.0;
  for value in uniqueVals: #求第i列属性每个不同值的熵*他们的概率
   subDataSet = splitDataSet(dataSet, i , value) 
   prob = len(subDataSet)/float(len(dataSet)) #求出该值在i列属性中的概率
   newEntropy += prob * calcShannonEnt(subDataSet) #求i列属性各值对于的熵求和
   splitInfo -= prob * log(prob, 2);
  infoGain = (baseEntropy - newEntropy) / splitInfo; #求出第i列属性的信息增益率
  print infoGain; 
  if(infoGain > bestInfoGain): #保存信息增益率最大的信息增益率值以及所在的下表(列值i)
   bestInfoGain = infoGain 
   bestFeature = i 
 return bestFeature 

#找出出现次数最多的分类名称
def majorityCnt(classList): 
 classCount = {} 
 for vote in classList: 
  if vote not in classCount.keys(): classCount[vote] = 0 
  classCount[vote] += 1 
 sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse=True)
 return sortedClassCount[0][0] 

#创建树
def createTree(dataSet, labels): 
 classList = [example[-1] for example in dataSet]; #创建需要创建树的训练数据的结果列表(例如最外层的列表是[N, N, Y, Y, Y, N, Y])
 if classList.count(classList[0]) == len(classList): #如果所有的训练数据都是属于一个类别,则返回该类别
  return classList[0]; 
 if (len(dataSet[0]) == 1): #训练数据只给出类别数据(没给任何属性值数据),返回出现次数最多的分类名称
  return majorityCnt(classList);

 bestFeat = chooseBestFeatureToSplit(dataSet); #选择信息增益最大的属性进行分(返回值是属性类型列表的下标)
 bestFeatLabel = labels[bestFeat] #根据下表找属性名称当树的根节点
 myTree = {bestFeatLabel:{}} #以bestFeatLabel为根节点建一个空树
 del(labels[bestFeat]) #从属性列表中删掉已经被选出来当根节点的属性
 featValues = [example[bestFeat] for example in dataSet] #找出该属性所有训练数据的值(创建列表)
 uniqueVals = set(featValues) #求出该属性的所有值得集合(集合的元素不能重复)
 for value in uniqueVals: #根据该属性的值求树的各个分支
  subLabels = labels[:] 
  myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels) #根据各个分支递归创建树
 return myTree #生成的树

#实用决策树进行分类
def classify(inputTree, featLabels, testVec): 
 firstStr = inputTree.keys()[0] 
 secondDict = inputTree[firstStr] 
 featIndex = featLabels.index(firstStr) 
 for key in secondDict.keys(): 
  if testVec[featIndex] == key: 
   if type(secondDict[key]).__name__ == 'dict': 
    classLabel = classify(secondDict[key], featLabels, testVec) 
   else: classLabel = secondDict[key] 
 return classLabel 

#读取数据文档中的训练数据(生成二维列表)
def createTrainData():
 lines_set = open('../data/ID3/Dataset.txt').readlines()
 labelLine = lines_set[2];
 labels = labelLine.strip().split()
 lines_set = lines_set[4:11]
 dataSet = [];
 for line in lines_set:
  data = line.split();
  dataSet.append(data);
 return dataSet, labels


#读取数据文档中的测试数据(生成二维列表)
def createTestData():
 lines_set = open('../data/ID3/Dataset.txt').readlines()
 lines_set = lines_set[15:22]
 dataSet = [];
 for line in lines_set:
  data = line.strip().split();
  dataSet.append(data);
 return dataSet

myDat, labels = createTrainData() 
myTree = createTree(myDat,labels) 
print myTree
bootList = ['outlook','temperature', 'humidity', 'windy'];
testList = createTestData();
for testData in testList:
 dic = classify(myTree, bootList, testData)
 print dic

五、C4.5与ID3的代码区别

python实现决策树C4.5算法详解(在ID3基础上改进)

如上图,C4.5主要在第52、53行代码与ID3不同(ID3求的是信息增益,C4.5求的是信息增益率)。

六、训练、测试数据集样例

训练集:

 outlook temperature humidity windy 
 ---------------------------------------------------------
 sunny  hot    high   false   N
 sunny  hot    high   true   N
 overcast hot    high   false   Y
 rain  mild   high   false   Y
 rain  cool   normal  false   Y
 rain  cool   normal  true   N
 overcast cool   normal  true   Y

测试集
 outlook temperature humidity windy 
 -----------------------------------------------  
 sunny  mild   high   false   
 sunny  cool   normal  false   
 rain   mild   normal  false  
 sunny  mild   normal  true   
 overcast mild   high   true   
 overcast hot    normal  false   
 rain   mild   high   true

以上这篇python实现决策树C4.5算法详解(在ID3基础上改进)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python类属性与实例属性用法分析
May 09 Python
python中getaddrinfo()基本用法实例分析
Jun 28 Python
python实现爬虫统计学校BBS男女比例之数据处理(三)
Dec 31 Python
Python + selenium自动化环境搭建的完整步骤
May 19 Python
Flask框架Jinjia模板常用语法总结
Jul 19 Python
Python基于百度云文字识别API
Dec 13 Python
python统计中文字符数量的两种方法
Jan 31 Python
详解PyCharm安装MicroPython插件的教程
Jun 24 Python
python 利用zmail库发送邮件
Sep 11 Python
Python中全局变量和局部变量的理解与区别
Feb 07 Python
关于Python使用turtle库画任意图的问题
Apr 01 Python
Python实现自动玩连连看的脚本分享
Apr 04 Python
基于ID3决策树算法的实现(Python版)
May 31 #Python
Python基础知识_浅谈用户交互
May 31 #Python
python数据类型_字符串常用操作(详解)
May 30 #Python
python数据类型_元组、字典常用操作方法(介绍)
May 30 #Python
node.js获取参数的常用方法(总结)
May 29 #Python
老生常谈python函数参数的区别(必看篇)
May 29 #Python
Python进阶_关于命名空间与作用域(详解)
May 29 #Python
You might like
PHP文件下载类
2006/12/06 PHP
php生成动态验证码gif图片
2015/10/19 PHP
php简单实现批量上传图片的方法
2016/05/09 PHP
PHPTree――php快速生成无限级分类
2018/03/30 PHP
javascript得到XML某节点的子节点个数的脚本
2008/10/11 Javascript
js window.event对象详尽解析
2009/02/17 Javascript
javaScript parseInt字符转化为数字函数使用小结
2009/11/05 Javascript
ExtJs GridPanel简单的增删改实现代码
2010/08/26 Javascript
用于节点操作的API,颠覆原生操作HTML DOM节点的API
2010/12/11 Javascript
JS去掉第一个字符和最后一个字符的实现代码
2014/02/20 Javascript
通过JQuery将DIV的滚动条滚动到指定的位置方便自动定位
2014/05/05 Javascript
简介JavaScript中的unshift()方法的使用
2015/06/09 Javascript
node.js平台下的mysql数据库配置及连接
2017/03/31 Javascript
VUE中v-model和v-for指令详解
2017/06/23 Javascript
Vue组件模板形式实现对象数组数据循环为树形结构(实例代码)
2017/07/31 Javascript
react-router browserHistory刷新页面404问题解决方法
2017/12/29 Javascript
vue一个页面实现音乐播放器的示例
2018/02/06 Javascript
vue axios数据请求及vue中使用axios的方法
2018/09/10 Javascript
webpack的CSS加载器的使用
2018/09/11 Javascript
详解webpack-dev-server使用方法
2018/09/14 Javascript
JSON是什么?有哪些优点?JSON和XML的区别?
2019/04/29 Javascript
layer ui 导入文件之前传入数据的实例
2019/09/23 Javascript
在vue中使用回调函数,this调用无效的解决
2020/08/11 Javascript
python中执行shell的两种方法总结
2017/01/10 Python
python select.select模块通信全过程解析
2017/09/20 Python
python 读取视频,处理后,实时计算帧数fps的方法
2018/07/10 Python
python得到电脑的开机时间方法
2018/10/15 Python
面试后感谢信
2014/02/01 职场文书
员工入职担保书范文
2014/04/01 职场文书
爱耳日活动总结
2014/04/30 职场文书
民族精神月活动总结
2014/08/28 职场文书
2014年招商引资工作总结
2014/11/22 职场文书
如何给HttpServletRequest增加消息头
2021/06/30 Java/Android
JavaScript正则表达式实现注册信息校验功能
2022/05/30 Java/Android
Mysql中@和@@符号的详细使用指南
2022/06/05 MySQL
HTML 里 img 元素的 src 和 srcset 属性的区别详解
2023/05/21 HTML / CSS