Python3.0 实现决策树算法的流程


Posted in Python onAugust 08, 2019

决策树的一般流程

检测数据集中的每个子项是否属于同一个分类

if so return 类标签
Else

  寻找划分数据集的最好特征

    划分数据集

   创建分支 节点

from math import log
import operator
#生成样本数据集
def createDataSet():
  dataSet = [[1,1,'yes'],
        [1,1,'yes'],
        [1,0,'no'],
        [0,1,'no'],
        [0,1,'no']]
  labels = ['no surfacing','flipper']
  return dataSet,labels
# 计算香农熵 香农 大神必须要膜拜啊,信息界的根目录人物啊
# no surfacing 指的是 不浮出水面能否生存 1 标识 是 0 指的是否
# flipper 指的是是否有脚
# yes no指的是否是鱼类
def calcShannonEnt(dataSet):
  numEntries = len(dataSet) # 用上面的createDataSet dataSet 这个值就是5
  #定义标签字典
  labelCounts = {}
  # 为所有可能的分类创建字典
  for featVec in dataSet:
    currentLabel = featVec[-1] #这个-1指的是去取最后一个维度 对应数据dataSet 这里取的是yes和no
    if currentLabel not in labelCounts.keys():
      # 如果当前分类标签不在 标签字典中
      labelCounts[currentLabel] = 0
    # 其他情况 分类标签分类加1
    labelCounts[currentLabel] += 1
  #定义香农熵 以2为底数求对数
  shannonEnt = 0.0
  for key in labelCounts:
    #计算 yes 或者No 出现的概率
    pro = float(labelCounts[key])/numEntries
    # 计算香农熵
    shannonEnt -= pro*log(pro,2)
  return shannonEnt
#dataSet是待划分的数据集, 划分数据集的特征 axis 特征的返回值value
#最后是创建了一个新的列表对象
def splitDataSet(dataSet, axis , value):
  # 创建新list对象
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis+1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet
# 选择最好的特征值进行数据集划分
def chooseBestFeatureToSplit(dataSet):
  # len(dataSet[0])是计算这一行有多少列,即有多少个特征值
  numFeatures = len(dataSet[0])-1 # -1 是最后一个特征值就不要记录在内了,算baseEntrop的时候已经算了最后一个特征值yes no
  baseEntropy = calcShannonEnt(dataSet)
  bestInfoGain = 0.0
  bestFeature = -1
  for i in range(numFeatures):
    #创建唯一的分类标签列表 也就是说提取dataSet每一行第i个值 就提取dat
    featList = [example[i] for example in dataSet]
    # 取出有几种特征值
    uniqueVals = set(featList)
    newEntropy = 0.0
    for value in uniqueVals:
      #创建特征值的子数据集
      subDataSet = splitDataSet(dataSet,i, value)
      #计算该特征值数据对总数在数据对总数出现的概率
      pro = len(subDataSet)/float(len(dataSet))
      #计算分割出来的子集香农熵
      newEntropy += pro*calcShannonEnt(subDataSet)
    #计算信息增益 得到最好的特征值 这个理论是这样的g(D,A) = H(D)-H(D/A)
    infoGain = baseEntropy-newEntropy
    #取出最大的信息增益,此时特征值最大
    if(infoGain >bestInfoGain):
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature
'''
#构建决策树是根据特征值的消耗来计算的,如果后面的特征值已经全部用完了
但是还没有分出结果,这个时候就需要使用多数表决方式计算节点分类
最后返回最大的分类
'''
def majorityCnt(classList):
  # 分类的字典
  classCount = {}
  for vote in range(classList):
    #如果不在 分类字典中
    if vote not in classCount.keys(): classCount[vote] = 0
    classCount[vote] += 1
    # 根据出现的次数大到小排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
  return sortedClassCount[0][0]
#创建决策树
def createTree(dataSet, labels):
  # 获取数据样本每组最后一组的特征值 这里是yes,no
  classList = [example[-1] for example in dataSet]
  # 如果说这个classList 全部都是 yes 或者全部是no 那肯定子返回yes 或者no
  if(classList.count(classList[0]) == len(classList)):
    return classList[0]
  #如果遍历完所有的特征返回出现次数最多的
  #是用消耗特征值的方式进行构造决策树的,每次会消掉一个特征值
  if len(dataSet[0]) == 1:
    return majorityCnt(classList)
  #选择最好的特征值
  bestFeat = chooseBestFeatureToSplit(dataSet)
  bestFeatLabel = labels[bestFeat]
  myTree = {bestFeatLabel:{}}
  # 删除labels中的一特征值
  del(labels[bestFeat])
  #找到特征值那一列
  featValues = [example[bestFeat] for example in dataSet]
  uniqueVals = set(featValues)
  for value in uniqueVals:
    # labels列表的赋值
    subLabels = labels[:]
    myTree[bestFeatLabel][value]=createTree(splitDataSet(dataSet,bestFeat,value),subLabels)
  return myTree
dataSet,lables = createDataSet()
shannonEnt= calcShannonEnt(dataSet)
my = createTree(dataSet,lables)
print(my)

总结

以上所述是小编给大家介绍的Python3.0 实现决策树算法的流程,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python新手在作用域方面经常容易碰到的问题
Apr 03 Python
python简单实现基数排序算法
May 16 Python
编写Python小程序来统计测试脚本的关键字
Mar 12 Python
python RabbitMQ 使用详细介绍(小结)
Nov 08 Python
pandas如何处理缺失值
Jul 31 Python
python Django框架实现web端分页呈现数据
Oct 31 Python
python matplotlib 画dataframe的时间序列图实例
Nov 20 Python
opencv+python实现均值滤波
Feb 19 Python
使用jupyter notebook运行python和R的步骤
Aug 13 Python
Python常用模块函数代码汇总解析
Aug 31 Python
sublime3之内网安装python插件Anaconda的流程
Nov 10 Python
python 实现有道翻译功能
Feb 26 Python
Python使用ffmpy将amr格式的音频转化为mp3格式的例子
Aug 08 #Python
Django rest framework jwt的使用方法详解
Aug 08 #Python
使用Python实现文字转语音并生成wav文件的例子
Aug 08 #Python
django基于restframework的CBV封装详解
Aug 08 #Python
python 控制Asterisk AMI接口外呼电话的例子
Aug 08 #Python
python 实现手机自动拨打电话的方法(通话压力测试)
Aug 08 #Python
Python generator生成器和yield表达式详解
Aug 08 #Python
You might like
WHOIS类的修改版
2006/10/09 PHP
php jquery 多文件上传简单实例
2013/12/23 PHP
php制作动态随机验证码
2015/02/12 PHP
Thinkphp结合ajaxFileUpload实现异步图片传输示例
2017/03/13 PHP
PHP调用其他文件中的类
2018/04/02 PHP
javascript 获取url参数和script标签中获取url参数函数代码
2010/01/22 Javascript
Javascript图像处理思路及实现代码
2012/12/25 Javascript
js动态添加删除,后台取数据(示例代码)
2013/11/25 Javascript
一个JavaScript处理textarea中的字符成每一行实例
2014/09/22 Javascript
JavaScript设计模式之原型模式(Object.create与prototype)介绍
2014/12/28 Javascript
JS功能代码集锦
2016/05/04 Javascript
angularjs2中父子组件的数据传递的实例代码
2017/07/05 Javascript
基于vue-cli 路由 实现类似tab切换效果(vue 2.0)
2019/05/08 Javascript
vue表单数据交互提交演示教程
2019/11/13 Javascript
微信小程序仿淘宝热搜词在搜索框中轮播功能
2020/01/21 Javascript
JS倒计时两种实现方式代码实例
2020/07/27 Javascript
Vue+Java 通过websocket实现服务器与客户端双向通信操作
2020/09/22 Javascript
Python科学计算环境推荐——Anaconda
2014/06/30 Python
Python3 伪装浏览器的方法示例
2017/11/23 Python
python flask安装和命令详解
2019/04/02 Python
python numpy数组中的复制知识解析
2020/02/03 Python
jupyter notebook 添加kernel permission denied的操作
2020/04/21 Python
Django正则URL匹配实现流程解析
2020/11/13 Python
Python使用paramiko连接远程服务器执行Shell命令的实现
2021/03/04 Python
美国高街时尚品牌:OASAP
2016/07/24 全球购物
荷兰领先的百货商店:De Bijenkorf
2018/10/17 全球购物
C语言中一个结构不能包含指向自己的指针吗
2012/05/25 面试题
Java基础面试题
2012/11/02 面试题
工程部经理岗位职责
2013/12/08 职场文书
浪费资源的建议书
2014/03/12 职场文书
构建高效课堂实施方案
2014/03/13 职场文书
优秀团员事迹材料1500字
2014/08/31 职场文书
学雷锋活动简报
2015/07/20 职场文书
小学英语教学经验交流材料
2015/11/02 职场文书
《法国号》教学反思
2016/02/22 职场文书
导游词之镇江西津古渡
2019/11/06 职场文书