python实现决策树


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树的具体代码,供大家参考,具体内容如下

算法优缺点:

优点:计算复杂度不高,输出结果易于理解,对中间值缺失不敏感,可以处理不相关的特征数据

缺点:可能会产生过度匹配的问题

适用数据类型:数值型和标称型

算法思想:

1.决策树构造的整体思想:

决策树说白了就好像是if-else结构一样,它的结果就是你要生成这个一个可以从根开始不断判断选择到叶子节点的树,但是呢这里的if-else必然不会是让我们认为去设置的,我们要做的是提供一种方法,计算机可以根据这种方法得到我们所需要的决策树。这个方法的重点就在于如何从这么多的特征中选择出有价值的,并且按照最好的顺序由根到叶选择。完成了这个我们也就可以递归构造一个决策树了

2.信息增益

划分数据集的最大原则是将无序的数据变得更加有序。既然这又牵涉到信息的有序无序问题,自然要想到想弄的信息熵了。这里我们计算用的也是信息熵(另一种方法是基尼不纯度)。公式如下:

数据需要满足的要求:

1 数据必须是由列表元素组成的列表,而且所有的列白哦元素都要具有相同的数据长度
2 数据的最后一列或者每个实例的最后一个元素应是当前实例的类别标签

函数:

calcShannonEnt(dataSet)

计算数据集的香农熵,分两步,第一步计算频率,第二部根据公式计算香农熵

splitDataSet(dataSet, aixs, value)

划分数据集,将满足X[aixs]==value的值都划分到一起,返回一个划分好的集合(不包括用来划分的aixs属性,因为不需要)

chooseBestFeature(dataSet)

选择最好的属性进行划分,思路很简单就是对每个属性都划分下,看哪个好。这里使用到了一个set来选取列表中唯一的元素,这是一中很快的方法

majorityCnt(classList)

因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类还是没有算完,这时候就会采用多数表决的方式计算节点分类

createTree(dataSet, labels)

基于递归构建决策树。这里的label更多是对于分类特征的名字,为了更好看和后面的理解。

#coding=utf-8
import operator
from math import log
import time

def createDataSet():
  dataSet=[[1,1,'yes'],
      [1,1,'yes'],
      [1,0,'no'],
      [0,1,'no'],
      [0,1,'no']]
  labels = ['no surfaceing','flippers']
  return dataSet, labels

#计算香农熵
def calcShannonEnt(dataSet):
  numEntries = len(dataSet)
  labelCounts = {}
  for feaVec in dataSet:
    currentLabel = feaVec[-1]
    if currentLabel not in labelCounts:
      labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1
  shannonEnt = 0.0
  for key in labelCounts:
    prob = float(labelCounts[key])/numEntries
    shannonEnt -= prob * log(prob, 2)
  return shannonEnt

def splitDataSet(dataSet, axis, value):
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis+1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet
  
def chooseBestFeatureToSplit(dataSet):
  numFeatures = len(dataSet[0]) - 1#因为数据集的最后一项是标签
  baseEntropy = calcShannonEnt(dataSet)
  bestInfoGain = 0.0
  bestFeature = -1
  for i in range(numFeatures):
    featList = [example[i] for example in dataSet]
    uniqueVals = set(featList)
    newEntropy = 0.0
    for value in uniqueVals:
      subDataSet = splitDataSet(dataSet, i, value)
      prob = len(subDataSet) / float(len(dataSet))
      newEntropy += prob * calcShannonEnt(subDataSet)
    infoGain = baseEntropy -newEntropy
    if infoGain > bestInfoGain:
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature
      
#因为我们递归构建决策树是根据属性的消耗进行计算的,所以可能会存在最后属性用完了,但是分类
#还是没有算完,这时候就会采用多数表决的方式计算节点分类
def majorityCnt(classList):
  classCount = {}
  for vote in classList:
    if vote not in classCount.keys():
      classCount[vote] = 0
    classCount[vote] += 1
  return max(classCount)     
  
def createTree(dataSet, labels):
  classList = [example[-1] for example in dataSet]
  if classList.count(classList[0]) ==len(classList):#类别相同则停止划分
    return classList[0]
  if len(dataSet[0]) == 1:#所有特征已经用完
    return majorityCnt(classList)
  bestFeat = chooseBestFeatureToSplit(dataSet)
  bestFeatLabel = labels[bestFeat]
  myTree = {bestFeatLabel:{}}
  del(labels[bestFeat])
  featValues = [example[bestFeat] for example in dataSet]
  uniqueVals = set(featValues)
  for value in uniqueVals:
    subLabels = labels[:]#为了不改变原始列表的内容复制了一下
    myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, 
                    bestFeat, value),subLabels)
  return myTree
  
def main():
  data,label = createDataSet()
  t1 = time.clock()
  myTree = createTree(data,label)
  t2 = time.clock()
  print myTree
  print 'execute for ',t2-t1
if __name__=='__main__':
  main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
django在接受post请求时显示403forbidden实例解析
Jan 25 Python
对Python中list的倒序索引和切片实例讲解
Nov 15 Python
python文件选择对话框的操作方法
Jun 27 Python
Python数据类型之列表和元组的方法实例详解
Jul 08 Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 Python
python global关键字的用法详解
Sep 05 Python
Python对接支付宝支付自实现功能
Oct 10 Python
python实现查找所有程序的安装信息
Feb 18 Python
pycharm中import呈现灰色原因的解决方法
Mar 04 Python
Python 中由 yield 实现异步操作
May 04 Python
keras实现多GPU或指定GPU的使用介绍
Jun 17 Python
利用python 读写csv文件
Sep 10 Python
python利用sklearn包编写决策树源代码
Dec 21 #Python
python实现决策树分类算法
Dec 21 #Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
You might like
杏林同学录(七)
2006/10/09 PHP
php实现的百度搜索某地天气的小偷代码
2014/04/23 PHP
JavaScript学习笔记(二) js对象
2011/10/25 Javascript
Extjs grid添加一个图片状态或者按钮的方法
2014/04/03 Javascript
Js Jquery创建一个弹出层可加载一个页面
2014/05/08 Javascript
原生javascript实现获取指定元素下所有后代元素的方法
2014/10/28 Javascript
jQuery Ajax 上传文件处理方式介绍(推荐)
2016/06/30 Javascript
关于Iframe父页面与子页面之间的相互调用
2016/11/22 Javascript
多个上传文件用js验证文件的格式和大小的方法(推荐)
2017/03/09 Javascript
js封装成插件_Canvas统计图插件编写实例
2017/09/12 Javascript
ES7中利用Await减少回调嵌套的方法详解
2017/11/01 Javascript
使用vue-cli打包过程中的步骤以及问题的解决
2018/05/08 Javascript
解决Vue 项目打包后favicon无法正常显示的问题
2018/09/01 Javascript
vue+element实现表单校验功能
2019/05/20 Javascript
JavaScript函数IIFE使用详解
2019/10/21 Javascript
vue使用better-scroll实现滑动以及左右联动
2020/06/30 Javascript
解决vant title-active-color与title-inactive-color不生效问题
2020/11/03 Javascript
[49:21]2018DOTA2亚洲邀请赛3月30日 小组赛B组 Effect VS iG
2018/03/31 DOTA
python3.6+opencv3.4实现鼠标交互查看图片像素
2018/02/26 Python
python使用tornado实现简单爬虫
2018/07/28 Python
python多线程并发及测试框架案例
2019/10/15 Python
python 字典套字典或列表的示例
2019/12/16 Python
tensorflow 报错unitialized value的解决方法
2020/02/06 Python
pycharm通过anaconda安装pyqt5的教程
2020/03/24 Python
python 5个实用的技巧
2020/09/27 Python
美国折扣宠物药房:Total Pet Supply
2018/05/27 全球购物
外贸主管求职简历的自我评价
2013/10/23 职场文书
大学在校生求职信范文
2013/11/21 职场文书
小学教师管理制度
2014/01/18 职场文书
新护士岗前培训制度
2014/02/02 职场文书
《小草和大树》教学反思
2014/02/16 职场文书
个人贷款担保书
2014/04/01 职场文书
KTV员工管理制度
2015/08/06 职场文书
《七律·长征》教学反思
2016/02/16 职场文书
python中%格式表达式实例用法
2021/06/18 Python
Mysql查询时间区间日期列表,不会由于数据表数据影响
2022/04/19 MySQL