python实现决策树


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树的具体代码,供大家参考,具体内容如下

算法优缺点:

优点:计算复杂度不高,输出结果易于理解,对中间值缺失不敏感,可以处理不相关的特征数据

缺点:可能会产生过度匹配的问题

适用数据类型:数值型和标称型

算法思想:

1.决策树构造的整体思想:

决策树说白了就好像是if-else结构一样,它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树,但是呢这里的if-else必然不会是让我们认为去设置的,我们要做的是提供一种方法,计算机可以根据这种方法得到我们所需要的决策树。这个方法的重点就在于如何从这么多的特征中选择出有价值的,并且按照最好的顺序由根到叶选择。完成了这个我们也就可以递归构造一个决策树了

2.信息增益

划分数据集的最大原则是将无序的数据变得更加有序。既然这又牵涉到信息的有序无序问题,自然要想到想弄的信息熵了。这里我们计算用的也是信息熵(另一种方法是基尼不纯度)。公式如下:

数据需要满足的要求:

1 数据必须是由列表元素组成的列表,而且所有的列白哦元素都要具有相同的数据长度
2 数据的最后一列或者每个实例的最后一个元素应是当前实例的类别标签

函数:

calcShannonEnt(dataSet)

计算数据集的香农熵,分两步,第一步计算频率,第二部根据公式计算香农熵

splitDataSet(dataSet, aixs, value)

划分数据集,将满足X[aixs]==value的值都划分到一起,返回一个划分好的集合(不包括用来划分的aixs属性,因为不需要)

chooseBestFeature(dataSet)

选择最好的属性进行划分,思路很简单就是对每个属性都划分下,看哪个好。这里使用到了一个set来选取列表中唯一的元素,这是一中很快的方法

majorityCnt(classList)

因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类还是没有算完,这时候就会采用多数表决的方式计算节点分类

createTree(dataSet, labels)

基于递归构建决策树。这里的label更多是对于分类特征的名字,为了更好看和后面的理解。

#coding=utf-8
import operator
from math import log
import time

def createDataSet():
  dataSet=[[1,1,'yes'],
      [1,1,'yes'],
      [1,0,'no'],
      [0,1,'no'],
      [0,1,'no']]
  labels = ['no surfaceing','flippers']
  return dataSet, labels

#计算香农熵
def calcShannonEnt(dataSet):
  numEntries = len(dataSet)
  labelCounts = {}
  for feaVec in dataSet:
    currentLabel = feaVec[-1]
    if currentLabel not in labelCounts:
      labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1
  shannonEnt = 0.0
  for key in labelCounts:
    prob = float(labelCounts[key])/numEntries
    shannonEnt -= prob * log(prob, 2)
  return shannonEnt

def splitDataSet(dataSet, axis, value):
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis+1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet
  
def chooseBestFeatureToSplit(dataSet):
  numFeatures = len(dataSet[0]) - 1#因为数据集的最后一项是标签
  baseEntropy = calcShannonEnt(dataSet)
  bestInfoGain = 0.0
  bestFeature = -1
  for i in range(numFeatures):
    featList = [example[i] for example in dataSet]
    uniqueVals = set(featList)
    newEntropy = 0.0
    for value in uniqueVals:
      subDataSet = splitDataSet(dataSet, i, value)
      prob = len(subDataSet) / float(len(dataSet))
      newEntropy += prob * calcShannonEnt(subDataSet)
    infoGain = baseEntropy -newEntropy
    if infoGain > bestInfoGain:
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature
      
#因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类
#还是没有算完,这时候就会采用多数表决的方式计算节点分类
def majorityCnt(classList):
  classCount = {}
  for vote in classList:
    if vote not in classCount.keys():
      classCount[vote] = 0
    classCount[vote] += 1
  return max(classCount)     
  
def createTree(dataSet, labels):
  classList = [example[-1] for example in dataSet]
  if classList.count(classList[0]) ==len(classList):#类别相同则停止划分
    return classList[0]
  if len(dataSet[0]) == 1:#所有特征已经用完
    return majorityCnt(classList)
  bestFeat = chooseBestFeatureToSplit(dataSet)
  bestFeatLabel = labels[bestFeat]
  myTree = {bestFeatLabel:{}}
  del(labels[bestFeat])
  featValues = [example[bestFeat] for example in dataSet]
  uniqueVals = set(featValues)
  for value in uniqueVals:
    subLabels = labels[:]#为了不改变原始列表的内容复制了一下
    myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, 
                    bestFeat, value),subLabels)
  return myTree
  
def main():
  data,label = createDataSet()
  t1 = time.clock()
  myTree = createTree(data,label)
  t2 = time.clock()
  print myTree
  print 'execute for ',t2-t1
if __name__=='__main__':
  main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之不要红头文件(2)
Sep 28 Python
简单的编程0基础下Python入门指引
Apr 01 Python
python简单实现旋转图片的方法
May 30 Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 Python
Python Json模块中dumps、loads、dump、load函数介绍
May 15 Python
python人民币小写转大写辅助工具
Jun 20 Python
详解python做UI界面的方法
Feb 27 Python
Python 中pandas索引切片读取数据缺失数据处理问题
Oct 09 Python
使用pyqt5 tablewidget 单元格设置正则表达式
Dec 13 Python
python向企业微信发送文字和图片消息的示例
Sep 28 Python
python opencv实现直线检测并测出倾斜角度(附源码+注释)
Dec 31 Python
利用Python批量识别电子账单数据的方法
Feb 08 Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
You might like
php 图片加水印与上传图片加水印php类
2010/05/12 PHP
提高define性能的php扩展hidef的安装和使用
2011/06/14 PHP
组合算法的PHP解答方法
2012/02/04 PHP
windows下的WAMP环境搭建图文教程(推荐)
2017/07/27 PHP
jQuery ui1.7 dialog只能弹出一次问题
2009/08/27 Javascript
jquery JSON的解析方式示例介绍
2014/07/27 Javascript
js的window.showModalDialog及window.open用法实例分析
2015/01/29 Javascript
js实现右下角提示框的方法
2015/02/03 Javascript
javascript中call apply 的应用场景
2015/04/16 Javascript
浅谈JavaScript中的字符编码转换问题
2015/07/07 Javascript
js前端面试题及答案整理(一)
2016/08/26 Javascript
AngularJs上传前预览图片的实例代码
2017/01/20 Javascript
label+input实现按钮开关切换效果的实例
2017/08/16 Javascript
利用jquery和BootStrap实现动态滚动条效果
2018/12/03 jQuery
微信小程序实现图片滚动效果示例
2018/12/05 Javascript
vue如何使用async、await实现同步请求
2019/12/09 Javascript
javascript实现贪吃蛇小游戏
2020/07/28 Javascript
JavaScript实现alert弹框效果
2020/11/19 Javascript
python执行子进程实现进程间通信的方法
2015/06/02 Python
python利用datetime模块计算时间差
2015/08/04 Python
Python的socket模块源码中的一些实现要点分析
2016/06/06 Python
Python 基础之字符串string详解及实例
2017/04/01 Python
Pyqt实现无边框窗口拖动以及窗口大小改变
2018/04/19 Python
Python PyQt4实现QQ抽屉效果
2018/04/20 Python
详解Python中字符串前“b”,“r”,“u”,“f”的作用
2019/12/18 Python
python定义类的简单用法
2020/07/24 Python
关于iframe跨域使用postMessage的实现
2019/10/29 HTML / CSS
马来西亚奢侈品牌购物商城:Valiram 247
2020/09/29 全球购物
什么是会话Bean
2015/05/14 面试题
与UNIX有关的几个名词
2015/09/17 面试题
数控加工专业毕业生自荐信
2013/09/27 职场文书
公务员年总结的自我评价
2013/10/25 职场文书
副处级干部考察材料
2014/05/17 职场文书
群众路线个人整改方案
2014/10/25 职场文书
iPhone13将有八大升级
2021/04/15 数码科技
css3中transform属性实现的4种功能
2021/08/07 HTML / CSS