python实现决策树分类算法


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树分类算法的具体代码,供大家参考,具体内容如下

1、概述

决策树(decision tree)——是一种被广泛使用的分类算法。

相比贝叶斯算法,决策树的优势在于构造过程不需要任何领域知识或参数设置

在实际应用中,对于探测式的知识发现,决策树更加适用。

2、算法思想

通俗来说,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

      女儿:多大年纪了?

      母亲:26。

      女儿:长的帅不帅?

      母亲:挺帅的。

      女儿:收入高不?

      母亲:不算很高,中等情况。

      女儿:是公务员不?

      母亲:是,在税务局上班呢。

      女儿:那好,我去见见。 

这个女孩的决策过程就是典型的分类树决策。

实质:通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见

假设这个女孩对男人的要求是:30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员,那么这个可以用下图表示女孩的决策逻辑

python实现决策树分类算法

上图完整表达了这个女孩决定是否见一个约会对象的策略,其中:

◊绿色节点表示判断条件

◊橙色节点表示决策结果

◊箭头表示在一个判断条件在不同情况下的决策路径

图中红色箭头表示了上面例子中女孩的决策过程。 

这幅图基本可以算是一颗决策树,说它“基本可以算”是因为图中的判定条件没有量化,如收入高中低等等,还不能算是严格意义上的决策树,如果将所有条件量化,则就变成真正的决策树了。 

决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树,用以预测未知数据的类别 

决策树:是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。

3、决策树构造

假如有以下判断苹果好坏的数据样本:

样本    红     大      好苹果

0         1      1         1

1         1      0         1

2         0      1         0

3         0      0         0

样本中有2个属性,A0表示是否红苹果。A1表示是否大苹果。假如要根据这个数据样本构建一棵自动判断苹果好坏的决策树。

由于本例中的数据只有2个属性,因此,我们可以穷举所有可能构造出来的决策树,就2棵,如下图所示:

python实现决策树分类算法

显然左边先使用A0(红色)做划分依据的决策树要优于右边用A1(大小)做划分依据的决策树。

当然这是直觉的认知。而直觉显然不适合转化成程序的实现,所以需要有一种定量的考察来评价这两棵树的性能好坏。

决策树的评价所用的定量考察方法为计算每种划分情况的信息熵增益

如果经过某个选定的属性进行数据划分后的信息熵下降最多,则这个划分属性是最优选择 

属性划分选择(即构造决策树)的依据:

简单来说,熵就是“无序,混乱”的程度。

通过计算来理解:

1、原始样本数据的熵:

样例总数:4

好苹果:2

坏苹果:2

熵: -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1

信息熵为1表示当前处于最混乱,最无序的状态。

2、两颗决策树的划分结果熵增益计算

树1先选A0作划分,各子节点信息熵计算如下:

0,1叶子节点有2个正例,0个负例。信息熵为:e1 = -(2/2 * log(2/2) + 0/2 * log(0/2)) = 0。

2,3叶子节点有0个正例,2个负例。信息熵为:e2 = -(0/2 * log(0/2) + 2/2 * log(2/2)) = 0。

因此选择A0划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 0。

选择A0做划分的信息熵增益G(S, A0)=S - E = 1 - 0 = 1.

事实上,决策树叶子节点表示已经都属于相同类别,因此信息熵一定为0。 

树2先选A1作划分,各子节点信息熵计算如下:

0,2子节点有1个正例,1个负例。信息熵为:e1 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

1,3子节点有1个正例,1个负例。信息熵为:e2 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

因此选择A1划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 1。也就是说分了跟没分一样!

选择A1做划分的信息熵增益G(S, A1)=S - E = 1 - 1 = 0. 

因此,每次划分之前,我们只需要计算出信息熵增益最大的那种划分即可。

先做A0划分时的信息熵增益为1>先做A1划分时的信息熵增益,所以先做A0划分是最优选择!!!

4、算法指导思想

经过决策属性的划分后,数据的无序度越来越低,也就是信息熵越来越小 

5、算法实现

梳理出数据中的属性

比较按照某特定属性划分后的数据的信息熵增益,选择信息熵增益最大的那个属性作为第一划分依据,然后继续选择第二属性,以此类推

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用urllib2防止302跳转的代码例子
Jul 07 Python
在Django的URLconf中使用多个视图前缀的方法
Jul 18 Python
Python列表切片用法示例
Apr 19 Python
python实现在pandas.DataFrame添加一行
Apr 04 Python
Python实现合并同一个文件夹下所有PDF文件的方法示例
Apr 28 Python
python学习——内置函数、数据结构、标准库的技巧(推荐)
Apr 18 Python
python代码实现逻辑回归logistic原理
Aug 07 Python
Python generator生成器和yield表达式详解
Aug 08 Python
Pytorch反向求导更新网络参数的方法
Aug 17 Python
python文件读写代码实例
Oct 21 Python
pytorch 实现在一个优化器中设置多个网络参数的例子
Feb 20 Python
Keras中 ImageDataGenerator函数的参数用法
Jul 03 Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
python编写分类决策树的代码
Dec 21 #Python
Python基于PyGraphics包实现图片截取功能的方法
Dec 21 #Python
You might like
PHP导入Excel到MySQL的方法
2011/04/23 PHP
C/S和B/S两种架构区别与优缺点分析
2014/10/23 PHP
php单态设计模式(单例模式)实例
2014/11/18 PHP
ThinkPHP5.1框架页面跳转及修改跳转页面模版示例
2019/05/06 PHP
Thinkphp 3.2框架使用Redis的方法详解
2019/10/24 PHP
YII2框架中使用RBAC对模块,控制器,方法的权限控制及规则的使用示例
2020/03/18 PHP
你需要知道的JavsScript可以做什么?
2007/06/29 Javascript
javascript深入理解js闭包
2010/07/03 Javascript
通过Jscript中@cc_on 语句识别IE浏览器及版本的代码
2011/05/07 Javascript
Javascript控制页面链接在新窗口打开具体方法
2013/08/16 Javascript
浅析document.ready和window.onload的区别讲解
2013/12/18 Javascript
jquery绑定事件不生效的解决方法
2014/02/11 Javascript
让JavaScript的Alert弹出框失效的方法禁止弹出警告框
2014/09/03 Javascript
实用又漂亮的BootstrapValidator表单验证插件
2016/05/30 Javascript
详解nodejs中的process进程
2017/03/19 NodeJs
浅谈Angular 中何时取消订阅
2017/11/22 Javascript
JavaScript函数、闭包、原型、面向对象学习笔记
2018/09/06 Javascript
解决layui追加或者动态修改的表单元素“没效果”的问题
2019/09/18 Javascript
微信小程序scroll-view锚点链接滚动跳转功能
2019/12/12 Javascript
webpack中的模式(mode)使用详解
2020/02/20 Javascript
小程序实现上下切换位置
2020/11/16 Javascript
利用Psyco提升Python运行速度
2014/12/24 Python
在Python中进行自动化单元测试的教程
2015/04/15 Python
Python解决线性代数问题之矩阵的初等变换方法
2018/12/12 Python
在cmd中查看python的安装路径方法
2019/07/03 Python
python list转置和前后反转的例子
2019/08/26 Python
Python3 tkinter 实现文件读取及保存功能
2019/09/12 Python
利用Python实现某OA系统的自动定位功能
2020/05/27 Python
CSS3实现线性渐变用法示例代码详解
2020/08/07 HTML / CSS
Clarks英国官方网站:全球领军鞋履品牌
2016/11/26 全球购物
学生打架检讨书1000字
2014/01/16 职场文书
人民教师的自我评价分享
2014/02/21 职场文书
借款协议书范本
2014/04/22 职场文书
保研推荐信格式
2015/03/25 职场文书
幼儿园中班班级总结
2015/08/10 职场文书
《雪地里的小画家》教学反思
2016/02/16 职场文书