python实现决策树分类算法


Posted in Python onDecember 21, 2017

本文实例为大家分享了python实现决策树分类算法的具体代码,供大家参考,具体内容如下

1、概述

决策树(decision tree)——是一种被广泛使用的分类算法。

相比贝叶斯算法,决策树的优势在于构造过程不需要任何领域知识或参数设置

在实际应用中,对于探测式的知识发现,决策树更加适用。

2、算法思想

通俗来说,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

      女儿:多大年纪了?

      母亲:26。

      女儿:长的帅不帅?

      母亲:挺帅的。

      女儿:收入高不?

      母亲:不算很高,中等情况。

      女儿:是公务员不?

      母亲:是,在税务局上班呢。

      女儿:那好,我去见见。 

这个女孩的决策过程就是典型的分类树决策。

实质:通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见

假设这个女孩对男人的要求是:30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员,那么这个可以用下图表示女孩的决策逻辑

python实现决策树分类算法

上图完整表达了这个女孩决定是否见一个约会对象的策略,其中:

◊绿色节点表示判断条件

◊橙色节点表示决策结果

◊箭头表示在一个判断条件在不同情况下的决策路径

图中红色箭头表示了上面例子中女孩的决策过程。 

这幅图基本可以算是一颗决策树,说它“基本可以算”是因为图中的判定条件没有量化,如收入高中低等等,还不能算是严格意义上的决策树,如果将所有条件量化,则就变成真正的决策树了。 

决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树,用以预测未知数据的类别 

决策树:是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。

3、决策树构造

假如有以下判断苹果好坏的数据样本:

样本    红     大      好苹果

0         1      1         1

1         1      0         1

2         0      1         0

3         0      0         0

样本中有2个属性,A0表示是否红苹果。A1表示是否大苹果。假如要根据这个数据样本构建一棵自动判断苹果好坏的决策树。

由于本例中的数据只有2个属性,因此,我们可以穷举所有可能构造出来的决策树,就2棵,如下图所示:

python实现决策树分类算法

显然左边先使用A0(红色)做划分依据的决策树要优于右边用A1(大小)做划分依据的决策树。

当然这是直觉的认知。而直觉显然不适合转化成程序的实现,所以需要有一种定量的考察来评价这两棵树的性能好坏。

决策树的评价所用的定量考察方法为计算每种划分情况的信息熵增益

如果经过某个选定的属性进行数据划分后的信息熵下降最多,则这个划分属性是最优选择 

属性划分选择(即构造决策树)的依据:

简单来说,熵就是“无序,混乱”的程度。

通过计算来理解:

1、原始样本数据的熵:

样例总数:4

好苹果:2

坏苹果:2

熵: -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1

信息熵为1表示当前处于最混乱,最无序的状态。

2、两颗决策树的划分结果熵增益计算

树1先选A0作划分,各子节点信息熵计算如下:

0,1叶子节点有2个正例,0个负例。信息熵为:e1 = -(2/2 * log(2/2) + 0/2 * log(0/2)) = 0。

2,3叶子节点有0个正例,2个负例。信息熵为:e2 = -(0/2 * log(0/2) + 2/2 * log(2/2)) = 0。

因此选择A0划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 0。

选择A0做划分的信息熵增益G(S, A0)=S - E = 1 - 0 = 1.

事实上,决策树叶子节点表示已经都属于相同类别,因此信息熵一定为0。 

树2先选A1作划分,各子节点信息熵计算如下:

0,2子节点有1个正例,1个负例。信息熵为:e1 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

1,3子节点有1个正例,1个负例。信息熵为:e2 = -(1/2 * log(1/2) + 1/2 * log(1/2)) = 1。

因此选择A1划分后的信息熵为每个子节点的信息熵所占比重的加权和:E = e1*2/4 + e2*2/4 = 1。也就是说分了跟没分一样!

选择A1做划分的信息熵增益G(S, A1)=S - E = 1 - 1 = 0. 

因此,每次划分之前,我们只需要计算出信息熵增益最大的那种划分即可。

先做A0划分时的信息熵增益为1>先做A1划分时的信息熵增益,所以先做A0划分是最优选择!!!

4、算法指导思想

经过决策属性的划分后,数据的无序度越来越低,也就是信息熵越来越小 

5、算法实现

梳理出数据中的属性

比较按照某特定属性划分后的数据的信息熵增益,选择信息熵增益最大的那个属性作为第一划分依据,然后继续选择第二属性,以此类推

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用生成器来改写直接返回列表的函数方法
May 25 Python
Python语言生成水仙花数代码示例
Dec 18 Python
Python实现自动上京东抢手机
Feb 06 Python
python简单操作excle的方法
Sep 12 Python
Python3.5内置模块之os模块、sys模块、shutil模块用法实例分析
Apr 27 Python
python实现小球弹跳效果
May 10 Python
Python多线程threading模块用法实例分析
May 22 Python
Python面向对象之类和实例用法分析
Jun 08 Python
利用Python绘制有趣的万圣节南瓜怪效果
Oct 31 Python
Python利用matplotlib绘制散点图的新手教程
Nov 05 Python
python+opencv实现车道线检测
Feb 19 Python
python使用pymysql模块操作MySQL
Jun 16 Python
Python语言描述机器学习之Logistic回归算法
Dec 21 #Python
python Crypto模块的安装与使用方法
Dec 21 #Python
python编写Logistic逻辑回归
Dec 30 #Python
python+selenium识别验证码并登录的示例代码
Dec 21 #Python
python实现随机森林random forest的原理及方法
Dec 21 #Python
python编写分类决策树的代码
Dec 21 #Python
Python基于PyGraphics包实现图片截取功能的方法
Dec 21 #Python
You might like
简单介绍下 PHP5 中引入的 MYSQLI的用途
2007/03/19 PHP
使用PHP和JavaScript判断请求是否来自微信内浏览器
2015/08/18 PHP
jQuery 跨域访问问题解决方法
2009/12/02 Javascript
jquery validate.js表单验证的基本用法入门
2010/05/13 Javascript
JavaScript中URL编码函数代码
2011/01/11 Javascript
jQuery代码优化之基本事件
2011/11/01 Javascript
IE的fireEvent方法概述及应用
2013/02/22 Javascript
通过JavaScript使Div居中并随网页大小改变而改变
2013/06/24 Javascript
jQuery的live()方法对hover事件的处理示例
2014/02/27 Javascript
Nodejs实现的一个静态服务器实例
2014/12/06 NodeJs
js+html5实现canvas绘制简单矩形的方法
2015/06/05 Javascript
JS中frameset框架弹出层实例代码
2016/04/01 Javascript
基于jquery插件实现拖拽删除图片功能
2020/08/27 Javascript
jQuery实现弹出窗口弹出div层的实例代码
2017/01/09 Javascript
Vuex模块化实现待办事项的状态管理
2017/03/15 Javascript
关于vue.js发布后路径引用的问题解决
2017/08/15 Javascript
JS+HTML+CSS实现轮播效果
2017/11/28 Javascript
vue pages 多入口项目 + chainWebpack 全局引用缩写说明
2020/09/21 Javascript
[01:45]2014DOTA2 TI预选赛预选赛 大神专访第二弹!
2014/05/20 DOTA
[00:43]DOTA2小紫本全民票选福利PA至宝全方位展示
2014/11/25 DOTA
[46:47]完美世界DOTA2联赛PWL S2 FTD vs Magma 第二场 11.20
2020/11/23 DOTA
Python去掉字符串中空格的方法
2014/03/11 Python
详解python eval函数的妙用
2017/11/16 Python
Python基于回溯法解决01背包问题实例
2017/12/06 Python
用Python进行简单图像识别(验证码)
2018/01/19 Python
Python线程创建和终止实例代码
2018/01/20 Python
python 文件查找及内容匹配方法
2018/10/25 Python
python opencv 简单阈值算法的实现
2019/08/04 Python
使用matlab 判断两个矩阵是否相等的实例
2020/05/11 Python
python中rb含义理解
2020/06/18 Python
ALEX AND ANI:手镯,项链,耳环和更多
2017/04/20 全球购物
美国体育用品在线:Modell’s Sporting Goods
2018/06/07 全球购物
英国当代时尚和街头服饰店:18montrose
2018/12/15 全球购物
劲霸男装广告词
2014/03/21 职场文书
特种设备安全管理制度
2015/08/06 职场文书
MySQL为id选择合适的数据类型
2021/06/07 MySQL