python实现决策树C4.5算法详解(在ID3基础上改进)


Posted in Python onMay 31, 2017

一、概论

C4.5主要是在ID3的基础上改进,ID3选择(属性)树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。

二、信息增益

python实现决策树C4.5算法详解(在ID3基础上改进)

以上公式是求信息增益率(ID3的知识点)

三、信息增益率

python实现决策树C4.5算法详解(在ID3基础上改进)

信息增益率是在求出信息增益值在除以python实现决策树C4.5算法详解(在ID3基础上改进)

例如下面公式为求属性为“outlook”的python实现决策树C4.5算法详解(在ID3基础上改进)值:

python实现决策树C4.5算法详解(在ID3基础上改进)

四、C4.5的完整代码

from numpy import *
from scipy import *
from math import log
import operator

#计算给定数据的香浓熵:
def calcShannonEnt(dataSet):
 numEntries = len(dataSet) 
 labelCounts = {} #类别字典(类别的名称为键,该类别的个数为值)
 for featVec in dataSet:
  currentLabel = featVec[-1] 
  if currentLabel not in labelCounts.keys(): #还没添加到字典里的类型
   labelCounts[currentLabel] = 0;
  labelCounts[currentLabel] += 1;
 shannonEnt = 0.0 
 for key in labelCounts: #求出每种类型的熵
  prob = float(labelCounts[key])/numEntries #每种类型个数占所有的比值
  shannonEnt -= prob * log(prob, 2)
 return shannonEnt; #返回熵

#按照给定的特征划分数据集
def splitDataSet(dataSet, axis, value):
 retDataSet = [] 
 for featVec in dataSet: #按dataSet矩阵中的第axis列的值等于value的分数据集
  if featVec[axis] == value:  #值等于value的,每一行为新的列表(去除第axis个数据)
   reducedFeatVec = featVec[:axis]
   reducedFeatVec.extend(featVec[axis+1:]) 
   retDataSet.append(reducedFeatVec) 
 return retDataSet #返回分类后的新矩阵

#选择最好的数据集划分方式
def chooseBestFeatureToSplit(dataSet): 
 numFeatures = len(dataSet[0])-1 #求属性的个数
 baseEntropy = calcShannonEnt(dataSet)
 bestInfoGain = 0.0; bestFeature = -1 
 for i in range(numFeatures): #求所有属性的信息增益
  featList = [example[i] for example in dataSet] 
  uniqueVals = set(featList) #第i列属性的取值(不同值)数集合
  newEntropy = 0.0 
  splitInfo = 0.0;
  for value in uniqueVals: #求第i列属性每个不同值的熵*他们的概率
   subDataSet = splitDataSet(dataSet, i , value) 
   prob = len(subDataSet)/float(len(dataSet)) #求出该值在i列属性中的概率
   newEntropy += prob * calcShannonEnt(subDataSet) #求i列属性各值对于的熵求和
   splitInfo -= prob * log(prob, 2);
  infoGain = (baseEntropy - newEntropy) / splitInfo; #求出第i列属性的信息增益率
  print infoGain; 
  if(infoGain > bestInfoGain): #保存信息增益率最大的信息增益率值以及所在的下表(列值i)
   bestInfoGain = infoGain 
   bestFeature = i 
 return bestFeature 

#找出出现次数最多的分类名称
def majorityCnt(classList): 
 classCount = {} 
 for vote in classList: 
  if vote not in classCount.keys(): classCount[vote] = 0 
  classCount[vote] += 1 
 sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse=True)
 return sortedClassCount[0][0] 

#创建树
def createTree(dataSet, labels): 
 classList = [example[-1] for example in dataSet]; #创建需要创建树的训练数据的结果列表(例如最外层的列表是[N, N, Y, Y, Y, N, Y])
 if classList.count(classList[0]) == len(classList): #如果所有的训练数据都是属于一个类别,则返回该类别
  return classList[0]; 
 if (len(dataSet[0]) == 1): #训练数据只给出类别数据(没给任何属性值数据),返回出现次数最多的分类名称
  return majorityCnt(classList);

 bestFeat = chooseBestFeatureToSplit(dataSet); #选择信息增益最大的属性进行分(返回值是属性类型列表的下标)
 bestFeatLabel = labels[bestFeat] #根据下表找属性名称当树的根节点
 myTree = {bestFeatLabel:{}} #以bestFeatLabel为根节点建一个空树
 del(labels[bestFeat]) #从属性列表中删掉已经被选出来当根节点的属性
 featValues = [example[bestFeat] for example in dataSet] #找出该属性所有训练数据的值(创建列表)
 uniqueVals = set(featValues) #求出该属性的所有值得集合(集合的元素不能重复)
 for value in uniqueVals: #根据该属性的值求树的各个分支
  subLabels = labels[:] 
  myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels) #根据各个分支递归创建树
 return myTree #生成的树

#实用决策树进行分类
def classify(inputTree, featLabels, testVec): 
 firstStr = inputTree.keys()[0] 
 secondDict = inputTree[firstStr] 
 featIndex = featLabels.index(firstStr) 
 for key in secondDict.keys(): 
  if testVec[featIndex] == key: 
   if type(secondDict[key]).__name__ == 'dict': 
    classLabel = classify(secondDict[key], featLabels, testVec) 
   else: classLabel = secondDict[key] 
 return classLabel 

#读取数据文档中的训练数据(生成二维列表)
def createTrainData():
 lines_set = open('../data/ID3/Dataset.txt').readlines()
 labelLine = lines_set[2];
 labels = labelLine.strip().split()
 lines_set = lines_set[4:11]
 dataSet = [];
 for line in lines_set:
  data = line.split();
  dataSet.append(data);
 return dataSet, labels


#读取数据文档中的测试数据(生成二维列表)
def createTestData():
 lines_set = open('../data/ID3/Dataset.txt').readlines()
 lines_set = lines_set[15:22]
 dataSet = [];
 for line in lines_set:
  data = line.strip().split();
  dataSet.append(data);
 return dataSet

myDat, labels = createTrainData() 
myTree = createTree(myDat,labels) 
print myTree
bootList = ['outlook','temperature', 'humidity', 'windy'];
testList = createTestData();
for testData in testList:
 dic = classify(myTree, bootList, testData)
 print dic

五、C4.5与ID3的代码区别

python实现决策树C4.5算法详解(在ID3基础上改进)

如上图,C4.5主要在第52、53行代码与ID3不同(ID3求的是信息增益,C4.5求的是信息增益率)。

六、训练、测试数据集样例

训练集:

 outlook temperature humidity windy 
 ---------------------------------------------------------
 sunny  hot    high   false   N
 sunny  hot    high   true   N
 overcast hot    high   false   Y
 rain  mild   high   false   Y
 rain  cool   normal  false   Y
 rain  cool   normal  true   N
 overcast cool   normal  true   Y

测试集
 outlook temperature humidity windy 
 -----------------------------------------------  
 sunny  mild   high   false   
 sunny  cool   normal  false   
 rain   mild   normal  false  
 sunny  mild   normal  true   
 overcast mild   high   true   
 overcast hot    normal  false   
 rain   mild   high   true

以上这篇python实现决策树C4.5算法详解(在ID3基础上改进)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用htpasswd实现基本认证授权的例子
Jun 10 Python
决策树的python实现方法
Nov 18 Python
python分割列表(list)的方法示例
May 07 Python
Python处理Excel文件实例代码
Jun 20 Python
Python实现的读取电脑硬件信息功能示例
May 30 Python
Flask之flask-session的具体使用
Jul 26 Python
python中import与from方法总结(推荐)
Mar 21 Python
python脚本当作Linux中的服务启动实现方法
Jun 28 Python
Python超越函数积分运算以及绘图实现代码
Nov 20 Python
Python安装第三方库攻略(pip和Anaconda)
Oct 15 Python
教你怎么用Python生成九宫格照片
May 20 Python
使用Python的开发框架Brownie部署以太坊智能合约
May 28 Python
基于ID3决策树算法的实现(Python版)
May 31 #Python
Python基础知识_浅谈用户交互
May 31 #Python
python数据类型_字符串常用操作(详解)
May 30 #Python
python数据类型_元组、字典常用操作方法(介绍)
May 30 #Python
node.js获取参数的常用方法(总结)
May 29 #Python
老生常谈python函数参数的区别(必看篇)
May 29 #Python
Python进阶_关于命名空间与作用域(详解)
May 29 #Python
You might like
SMARTY学习手记
2007/01/04 PHP
《PHP编程最快明白》第八讲:php启发和小结
2010/11/01 PHP
如何获知PHP程序占用多少内存(memory_get_usage)
2012/09/23 PHP
php 判断数组是几维数组
2013/03/20 PHP
PHP中echo和print的区别
2014/08/28 PHP
Smarty使用自定义资源的方法
2015/08/08 PHP
深入理解PHP的远程多会话调试
2017/09/21 PHP
ExtJS 2.0实用简明教程 之ExtJS版的Hello
2009/04/29 Javascript
jQuery 表格插件整理
2010/04/27 Javascript
js编写trim()函数及正则表达式的运用
2013/10/24 Javascript
js操纵dom生成下拉列表框的方法
2014/02/24 Javascript
javascript模拟实现ajax加载框实例
2014/10/15 Javascript
Jquery中offset()和position()的区别分析
2015/02/05 Javascript
javaScript字符串工具类StringUtils详解
2017/12/08 Javascript
webpack v4 从dev到prd的方法
2018/04/02 Javascript
JS原生带缩略图的图片切换效果
2018/10/10 Javascript
Vue.js 中的 v-model 指令及绑定表单元素的方法
2018/12/03 Javascript
微信小程序picker组件两列关联使用方式
2020/10/27 Javascript
详解基于element的区间选择组件校验(交易金额)
2021/01/07 Javascript
Python基础之函数用法实例详解
2014/09/10 Python
Django框架下在视图中使用模版的方法
2015/07/16 Python
mac 安装python网络请求包requests方法
2018/06/13 Python
python实现将汉字保存成文本的方法
2018/11/16 Python
Python创建空列表的字典2种方法详解
2020/02/13 Python
python Django 反向访问器的外键冲突解决
2020/05/20 Python
菲律宾领先的在线时尚商店:Zalora菲律宾
2018/02/08 全球购物
ghd官网:英国ghd直发器品牌
2018/05/04 全球购物
澳大利亚在线家具店:Luxo Living
2019/03/24 全球购物
德国家用电器购物网站:Premiumshop24
2019/08/22 全球购物
关于旷工的检讨书
2014/02/02 职场文书
《鱼游到了纸上》教学反思
2014/02/20 职场文书
行政人事岗位职责
2014/03/17 职场文书
小学教研工作总结2015
2015/05/13 职场文书
小学英语教师研修感悟
2015/11/18 职场文书
JavaWeb Servlet实现网页登录功能
2021/07/04 Java/Android
spring boot实现文件上传
2022/08/14 Java/Android