Python3.0 实现决策树算法的流程


Posted in Python onAugust 08, 2019

决策树的一般流程

检测数据集中的每个子项是否属于同一个分类

if so return 类标签
Else

  寻找划分数据集的最好特征

    划分数据集

   创建分支 节点

from math import log
import operator
#生成样本数据集
def createDataSet():
  dataSet = [[1,1,'yes'],
        [1,1,'yes'],
        [1,0,'no'],
        [0,1,'no'],
        [0,1,'no']]
  labels = ['no surfacing','flipper']
  return dataSet,labels
# 计算香农熵 香农 大神必须要膜拜啊,信息界的根目录人物啊
# no surfacing 指的是 不浮出水面能否生存 1 标识 是 0 指的是否
# flipper 指的是是否有脚
# yes no指的是否是鱼类
def calcShannonEnt(dataSet):
  numEntries = len(dataSet) # 用上面的createDataSet dataSet 这个值就是5
  #定义标签字典
  labelCounts = {}
  # 为所有可能的分类创建字典
  for featVec in dataSet:
    currentLabel = featVec[-1] #这个-1指的是去取最后一个维度 对应数据dataSet 这里取的是yes和no
    if currentLabel not in labelCounts.keys():
      # 如果当前分类标签不在 标签字典中
      labelCounts[currentLabel] = 0
    # 其他情况 分类标签分类加1
    labelCounts[currentLabel] += 1
  #定义香农熵 以2为底数求对数
  shannonEnt = 0.0
  for key in labelCounts:
    #计算 yes 或者No 出现的概率
    pro = float(labelCounts[key])/numEntries
    # 计算香农熵
    shannonEnt -= pro*log(pro,2)
  return shannonEnt
#dataSet是待划分的数据集, 划分数据集的特征 axis 特征的返回值value
#最后是创建了一个新的列表对象
def splitDataSet(dataSet, axis , value):
  # 创建新list对象
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis+1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet
# 选择最好的特征值进行数据集划分
def chooseBestFeatureToSplit(dataSet):
  # len(dataSet[0])是计算这一行有多少列,即有多少个特征值
  numFeatures = len(dataSet[0])-1 # -1 是最后一个特征值就不要记录在内了,算baseEntrop的时候已经算了最后一个特征值yes no
  baseEntropy = calcShannonEnt(dataSet)
  bestInfoGain = 0.0
  bestFeature = -1
  for i in range(numFeatures):
    #创建唯一的分类标签列表 也就是说提取dataSet每一行第i个值 就提取dat
    featList = [example[i] for example in dataSet]
    # 取出有几种特征值
    uniqueVals = set(featList)
    newEntropy = 0.0
    for value in uniqueVals:
      #创建特征值的子数据集
      subDataSet = splitDataSet(dataSet,i, value)
      #计算该特征值数据对总数在数据对总数出现的概率
      pro = len(subDataSet)/float(len(dataSet))
      #计算分割出来的子集香农熵
      newEntropy += pro*calcShannonEnt(subDataSet)
    #计算信息增益 得到最好的特征值 这个理论是这样的g(D,A) = H(D)-H(D/A)
    infoGain = baseEntropy-newEntropy
    #取出最大的信息增益,此时特征值最大
    if(infoGain >bestInfoGain):
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature
'''
#构建决策树是根据特征值的消耗来计算的,如果后面的特征值已经全部用完了
但是还没有分出结果,这个时候就需要使用多数表决方式计算节点分类
最后返回最大的分类
'''
def majorityCnt(classList):
  # 分类的字典
  classCount = {}
  for vote in range(classList):
    #如果不在 分类字典中
    if vote not in classCount.keys(): classCount[vote] = 0
    classCount[vote] += 1
    # 根据出现的次数大到小排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
  return sortedClassCount[0][0]
#创建决策树
def createTree(dataSet, labels):
  # 获取数据样本每组最后一组的特征值 这里是yes,no
  classList = [example[-1] for example in dataSet]
  # 如果说这个classList 全部都是 yes 或者全部是no 那肯定子返回yes 或者no
  if(classList.count(classList[0]) == len(classList)):
    return classList[0]
  #如果遍历完所有的特征返回出现次数最多的
  #是用消耗特征值的方式进行构造决策树的,每次会消掉一个特征值
  if len(dataSet[0]) == 1:
    return majorityCnt(classList)
  #选择最好的特征值
  bestFeat = chooseBestFeatureToSplit(dataSet)
  bestFeatLabel = labels[bestFeat]
  myTree = {bestFeatLabel:{}}
  # 删除labels中的一特征值
  del(labels[bestFeat])
  #找到特征值那一列
  featValues = [example[bestFeat] for example in dataSet]
  uniqueVals = set(featValues)
  for value in uniqueVals:
    # labels列表的赋值
    subLabels = labels[:]
    myTree[bestFeatLabel][value]=createTree(splitDataSet(dataSet,bestFeat,value),subLabels)
  return myTree
dataSet,lables = createDataSet()
shannonEnt= calcShannonEnt(dataSet)
my = createTree(dataSet,lables)
print(my)

总结

以上所述是小编给大家介绍的Python3.0 实现决策树算法的流程,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
详解Python的Django框架中的中间件
Jul 24 Python
python下实现二叉堆以及堆排序的示例
Sep 29 Python
python实现俄罗斯方块
Jun 26 Python
Python Grid使用和布局详解
Jun 30 Python
selenium+python设置爬虫代理IP的方法
Nov 29 Python
python批量从es取数据的方法(文档数超过10000)
Dec 27 Python
一个可以套路别人的python小程序实例代码
Apr 09 Python
Python split() 函数拆分字符串将字符串转化为列的方法
Jul 16 Python
在Pytorch中计算自己模型的FLOPs方式
Dec 30 Python
Python中实现一行拆多行和多行并一行的示例代码
Sep 06 Python
如何用 Python 制作一个迷宫游戏
Feb 25 Python
Python 居然可以在 Excel 中画画你知道吗
Feb 15 Python
Python使用ffmpy将amr格式的音频转化为mp3格式的例子
Aug 08 #Python
Django rest framework jwt的使用方法详解
Aug 08 #Python
使用Python实现文字转语音并生成wav文件的例子
Aug 08 #Python
django基于restframework的CBV封装详解
Aug 08 #Python
python 控制Asterisk AMI接口外呼电话的例子
Aug 08 #Python
python 实现手机自动拨打电话的方法(通话压力测试)
Aug 08 #Python
Python generator生成器和yield表达式详解
Aug 08 #Python
You might like
老机欣赏|中国60年代精品收音机
2021/03/02 无线电
PHP截取汉字乱码问题解决方法mb_substr函数的应用
2008/03/30 PHP
php面向对象全攻略 (七) 继承性
2009/09/30 PHP
PHP中的按位与和按位或操作示例
2014/01/27 PHP
php使用curl实现简单模拟提交表单功能
2017/05/15 PHP
PHP设计模式之原型模式定义与用法详解
2018/04/03 PHP
JqGrid web打印实现代码
2011/05/31 Javascript
jQuery实现图片放大预览实现原理及代码
2013/09/12 Javascript
使用JS读秒使用示例
2013/09/21 Javascript
javascript在子页面中函数无法调试问题解决方法
2014/01/17 Javascript
sliderToggle在写jquery的计时器setTimeouter中不生效
2014/05/26 Javascript
JavaScript知识点整理
2015/12/09 Javascript
在IE8上JS实现combobox支持拼音检索功能
2016/05/23 Javascript
jquery实现点击页面回到顶部
2016/11/23 Javascript
JavaScript实现动态添加Form表单元素的方法示例
2017/08/14 Javascript
vue按需加载组件webpack require.ensure的方法
2017/12/13 Javascript
AngularJS模态框模板ngDialog的使用详解
2018/05/11 Javascript
在vue项目中使用sass语法问题
2019/07/18 Javascript
JS实现简单随机3D骰子
2019/10/24 Javascript
原生JS实现音乐播放器的示例代码
2021/02/25 Javascript
[01:32]寻找你心中的那团火 DOTA2 TI9火焰传递活动今日开启
2019/05/16 DOTA
Python基础练习之用户登录实现代码分享
2017/11/08 Python
Python实现简单的语音识别系统
2017/12/13 Python
Python常见字典内建函数用法示例
2018/05/14 Python
使用Python的Dataframe取两列时间值相差一年的所有行方法
2018/07/10 Python
Python图像处理之颜色的定义与使用分析
2019/01/03 Python
wxPython之wx.DC绘制形状
2019/11/19 Python
python pyenv多版本管理工具的使用
2019/12/23 Python
CSS3 linear-gradient线性渐变生成加号和减号的方法
2017/11/21 HTML / CSS
使用html5 canvas创建太空游戏的示例
2014/05/08 HTML / CSS
什么是跨站脚本攻击
2014/12/11 面试题
软件测试常见笔试题
2012/02/04 面试题
高中体育教学反思
2014/01/24 职场文书
学生检讨书如何写
2014/10/30 职场文书
2015年幼师工作总结
2015/04/28 职场文书
JavaScript 实现页面滚动动画
2021/04/24 Javascript