python实现决策树


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树的具体代码,供大家参考,具体内容如下

算法优缺点:

优点:计算复杂度不高,输出结果易于理解,对中间值缺失不敏感,可以处理不相关的特征数据

缺点:可能会产生过度匹配的问题

适用数据类型:数值型和标称型

算法思想:

1.决策树构造的整体思想:

决策树说白了就好像是if-else结构一样,它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树,但是呢这里的if-else必然不会是让我们认为去设置的,我们要做的是提供一种方法,计算机可以根据这种方法得到我们所需要的决策树。这个方法的重点就在于如何从这么多的特征中选择出有价值的,并且按照最好的顺序由根到叶选择。完成了这个我们也就可以递归构造一个决策树了

2.信息增益

划分数据集的最大原则是将无序的数据变得更加有序。既然这又牵涉到信息的有序无序问题,自然要想到想弄的信息熵了。这里我们计算用的也是信息熵(另一种方法是基尼不纯度)。公式如下:

数据需要满足的要求:

1 数据必须是由列表元素组成的列表,而且所有的列白哦元素都要具有相同的数据长度
2 数据的最后一列或者每个实例的最后一个元素应是当前实例的类别标签

函数:

calcShannonEnt(dataSet)

计算数据集的香农熵,分两步,第一步计算频率,第二部根据公式计算香农熵

splitDataSet(dataSet, aixs, value)

划分数据集,将满足X[aixs]==value的值都划分到一起,返回一个划分好的集合(不包括用来划分的aixs属性,因为不需要)

chooseBestFeature(dataSet)

选择最好的属性进行划分,思路很简单就是对每个属性都划分下,看哪个好。这里使用到了一个set来选取列表中唯一的元素,这是一中很快的方法

majorityCnt(classList)

因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类还是没有算完,这时候就会采用多数表决的方式计算节点分类

createTree(dataSet, labels)

基于递归构建决策树。这里的label更多是对于分类特征的名字,为了更好看和后面的理解。

#coding=utf-8
import operator
from math import log
import time

def createDataSet():
  dataSet=[[1,1,'yes'],
      [1,1,'yes'],
      [1,0,'no'],
      [0,1,'no'],
      [0,1,'no']]
  labels = ['no surfaceing','flippers']
  return dataSet, labels

#计算香农熵
def calcShannonEnt(dataSet):
  numEntries = len(dataSet)
  labelCounts = {}
  for feaVec in dataSet:
    currentLabel = feaVec[-1]
    if currentLabel not in labelCounts:
      labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1
  shannonEnt = 0.0
  for key in labelCounts:
    prob = float(labelCounts[key])/numEntries
    shannonEnt -= prob * log(prob, 2)
  return shannonEnt

def splitDataSet(dataSet, axis, value):
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis+1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet
  
def chooseBestFeatureToSplit(dataSet):
  numFeatures = len(dataSet[0]) - 1#因为数据集的最后一项是标签
  baseEntropy = calcShannonEnt(dataSet)
  bestInfoGain = 0.0
  bestFeature = -1
  for i in range(numFeatures):
    featList = [example[i] for example in dataSet]
    uniqueVals = set(featList)
    newEntropy = 0.0
    for value in uniqueVals:
      subDataSet = splitDataSet(dataSet, i, value)
      prob = len(subDataSet) / float(len(dataSet))
      newEntropy += prob * calcShannonEnt(subDataSet)
    infoGain = baseEntropy -newEntropy
    if infoGain > bestInfoGain:
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature
      
#因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类
#还是没有算完,这时候就会采用多数表决的方式计算节点分类
def majorityCnt(classList):
  classCount = {}
  for vote in classList:
    if vote not in classCount.keys():
      classCount[vote] = 0
    classCount[vote] += 1
  return max(classCount)     
  
def createTree(dataSet, labels):
  classList = [example[-1] for example in dataSet]
  if classList.count(classList[0]) ==len(classList):#类别相同则停止划分
    return classList[0]
  if len(dataSet[0]) == 1:#所有特征已经用完
    return majorityCnt(classList)
  bestFeat = chooseBestFeatureToSplit(dataSet)
  bestFeatLabel = labels[bestFeat]
  myTree = {bestFeatLabel:{}}
  del(labels[bestFeat])
  featValues = [example[bestFeat] for example in dataSet]
  uniqueVals = set(featValues)
  for value in uniqueVals:
    subLabels = labels[:]#为了不改变原始列表的内容复制了一下
    myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, 
                    bestFeat, value),subLabels)
  return myTree
  
def main():
  data,label = createDataSet()
  t1 = time.clock()
  myTree = createTree(data,label)
  t2 = time.clock()
  print myTree
  print 'execute for ',t2-t1
if __name__=='__main__':
  main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python安装Scrapy图文教程
Aug 14 Python
在python3环境下的Django中使用MySQL数据库的实例
Aug 29 Python
Python数据分析之双色球统计两个红和蓝球哪组合比例高的方法
Feb 03 Python
Python实现字典(dict)的迭代操作示例
Jun 05 Python
Python常见的pandas用法demo示例
Mar 16 Python
调试Django时打印SQL语句的日志代码实例
Sep 12 Python
python内置函数sorted()用法深入分析
Oct 08 Python
利用pytorch实现对CIFAR-10数据集的分类
Jan 14 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 Python
属性与 @property 方法让你的python更高效
Sep 21 Python
python 基于Apscheduler实现定时任务
Dec 15 Python
Django实现简单的分页功能
Feb 22 Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
You might like
php实现专业获取网站SEO信息类实例
2015/04/02 PHP
php计算整个目录大小的方法
2015/06/19 PHP
JS在IE和FireFox之间常用函数的区别小结
2010/03/12 Javascript
Javascript事件实例详解
2013/11/06 Javascript
Windows8下搭建Node.js开发环境教程
2014/09/03 Javascript
Node.js静态文件服务器改进版
2016/01/10 Javascript
浅析C/C++,Java,PHP,JavaScript,Json数组、对象赋值时最后一个元素后面是否可以带逗号
2016/03/22 Javascript
基于jQuery倒计时插件实现团购秒杀效果
2016/05/13 Javascript
如何提高数据访问速度
2016/12/26 Javascript
jQuery实现遍历复选框的方法示例
2017/03/06 Javascript
ES6新特性之Object的变化分析
2017/03/31 Javascript
详解Vue文档中几个易忽视部分的剖析
2018/03/24 Javascript
VUE搭建手机商城心得和遇到的坑
2019/02/21 Javascript
可能被忽略的一些JavaScript数组方法细节
2019/02/28 Javascript
详解vue.js移动端配置flexible.js及注意事项
2019/04/10 Javascript
vue 地图可视化 maptalks 篇实例代码详解
2019/05/21 Javascript
JS实现水平遍历和嵌套递归操作示例
2019/08/15 Javascript
node.js 使用 net 模块模拟 websocket 握手进行数据传递操作示例
2020/02/11 Javascript
微信小程序实现页面左右滑动
2020/11/16 Javascript
基于javascript实现放大镜特效
2020/12/03 Javascript
Python3标准库总结
2019/02/19 Python
python装饰器简介---这一篇也许就够了(推荐)
2019/04/01 Python
python 基于TCP协议的套接字编程详解
2019/06/29 Python
python 使用plt画图,去除图片四周的白边方法
2019/07/09 Python
python实现人像动漫化的示例代码
2020/05/17 Python
利用HTML5 Canvas API绘制矩形的超级攻略
2016/03/21 HTML / CSS
英国街头品牌:Bee Inspired Clothing
2018/02/12 全球购物
医学专业大学生求职的自我评价
2013/11/27 职场文书
教师个人读书活动总结
2014/07/08 职场文书
班级出游活动计划书
2014/08/15 职场文书
优秀教师自我评价范文
2014/09/27 职场文书
大学迎新生标语
2014/10/06 职场文书
2014年宣传思想工作总结
2014/12/10 职场文书
硕士论文致谢范文
2015/05/14 职场文书
javascript canvas实现雨滴效果
2021/06/09 Javascript
Pandas-DataFrame知识点汇总
2022/03/16 Python