Python实现决策树并且使用Graphviz可视化的例子


Posted in Python onAugust 09, 2019

一、什么是决策树(decision tree)——机器学习中的一个重要的分类算法

决策树是一个类似于数据流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或者类的分布,树的最顶层是根结点

根据天气情况决定出游与否的案例

Python实现决策树并且使用Graphviz可视化的例子

二、决策树算法构建

2.1决策树的核心思路

特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。

决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。

剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

实现决策树的算法包括ID3、C4.5算法等。常见的ID3核心思想是以信息增益度量属性选择,选择分裂后信息增益最大的属性进行分裂。

一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常不确定的事情,或者是我们一无所知的事情,需要大量的信息====>信息量的度量就等于不确定性的 多少。也就是说变量的不确定性越大,熵就越大

信息熵的计算公司

Python实现决策树并且使用Graphviz可视化的例子

S为所有事件集合,p为发生概率,c为特征总数。

信息增益(information gain)是指信息划分前后的熵的变化,也就是说由于使用这个属性分割样例而导致的期望熵降低。也就是说,信息增益就是原有信息熵与属性划分后信息熵(需要对划分后的信息熵取期望值)的差值,具体计算如下:

Python实现决策树并且使用Graphviz可视化的例子

其中,第二项为属性A对S划分的期望信息。

三、IDE3决策树的Python实现

以下面这个不同年龄段的人买电脑的情况为例子建模型算法

Python实现决策树并且使用Graphviz可视化的例子

'''
Created on 2018年7月5日
使用python内的科学计算的库实现利用决策树解决问题 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#数据存储的格式 python自带不需要安装
import csv 
#预处理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目录形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存储成csv格式并且是utf-8格式的编码
'''
'''
决策树数据源读取
scklearn要求的数据类型 特征值属性必须是数值型的
需要对数据进行预处理
'''
#装特征的值
featureList=[] 
#装类别的词
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
将原始数据转换成包含有字典的List
将建好的包含字典的list用DictVectorizer对象转换成0-1矩阵
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#对于类别使用同样的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.构建分类器——决策树模型
 2.使用数据训练决策树模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.将生成的分类器转换成dot格式的 数据
2.在命令行中dot -Tpdf iris.dot -o output.pdf将dot文件转换成pdf图的文件
'''
#视频上讲的不适用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())

Graphviz对决策树的可视化

Python实现决策树并且使用Graphviz可视化的例子

以上这篇Python实现决策树并且使用Graphviz可视化的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
go和python调用其它程序并得到程序输出
Feb 10 Python
Python正则表达式的使用范例详解
Aug 08 Python
python使用xlrd模块读写Excel文件的方法
May 06 Python
python操作redis的方法
Jul 07 Python
Python获取当前公网ip并自动断开宽带连接实例代码
Jan 12 Python
win10系统下Anaconda3安装配置方法图文教程
Sep 19 Python
pandas每次多Sheet写入文件的方法
Dec 10 Python
python单例设计模式实现解析
Jan 07 Python
python实现超级玛丽游戏
Mar 18 Python
Python3爬虫中关于Ajax分析方法的总结
Jul 10 Python
python执行js代码的方法
May 13 Python
总结Python变量的相关知识
Jun 28 Python
Django ORM 常用字段与不常用字段汇总
Aug 09 #Python
详解如何减少python内存的消耗
Aug 09 #Python
Django命名URL和反向解析URL实现解析
Aug 09 #Python
利用python list完成最简单的DB连接池方法
Aug 09 #Python
python使用requests.session模拟登录
Aug 09 #Python
如何在Cloud Studio上执行Python代码?
Aug 09 #Python
python切片(获取一个子列表(数组))详解
Aug 09 #Python
You might like
《PHP编程最快明白》第七讲:php图片验证码与缩略图
2010/11/01 PHP
PHP基础之运算符的使用方法
2013/04/28 PHP
PHP CLI模式下的多进程应用分析
2013/06/03 PHP
php操作mongoDB实例分析
2014/12/29 PHP
PHP中调用C/C++制作的动态链接库的教程
2016/03/10 PHP
不错的新闻标题颜色效果
2006/12/10 Javascript
让firefox支持IE的一些方法的javascript扩展函数代码
2010/01/02 Javascript
js arguments对象应用介绍
2012/11/28 Javascript
原生javascript实现无间缝滚动示例
2014/01/28 Javascript
jquery单行文字向上滚动效果示例
2014/03/06 Javascript
jquery mobile页面跳转后样式丢失js失效的解决方法
2014/09/06 Javascript
javascript简单实现图片预加载
2014/12/03 Javascript
JavaScript实现事件的中断传播和行为阻止方法示例
2017/01/20 Javascript
JavaScript装饰器函数(Decorator)实例详解
2017/03/30 Javascript
对于js垃圾回收机制的理解
2017/09/14 Javascript
使用Node.js实现ORM的一种思路详解(图文)
2017/10/24 Javascript
原生js+cookie实现购物车功能的方法分析
2017/12/21 Javascript
VueJs监听window.resize方法示例
2018/01/17 Javascript
Element 默认勾选表格 toggleRowSelection的实现
2019/09/04 Javascript
使用vue编写h5公众号跳转小程序的实现代码
2020/11/27 Vue.js
[51:20]完美世界DOTA2联赛PWL S2 Magma vs PXG 第一场 11.28
2020/12/01 DOTA
python自动格式化json文件的方法
2015/03/11 Python
Python学习笔记之集合的概念和简单使用示例
2019/08/22 Python
关于python pycharm中输出的内容不全的解决办法
2020/01/10 Python
Python warning警告出现的原因及忽略方法
2020/01/31 Python
Python操作Excel把数据分给sheet
2020/05/20 Python
Python错误的处理方法
2020/06/23 Python
详解torch.Tensor的4种乘法
2020/09/03 Python
Python3爬虫ChromeDriver的安装实例
2021/02/06 Python
linux面试题参考答案(6)
2014/08/29 面试题
小学运动会广播稿200字(十二篇)
2014/01/14 职场文书
中学校庆方案
2014/03/17 职场文书
处级领导班子全部召开专题民主生活会情况汇报
2014/09/27 职场文书
2015年房地产销售工作总结
2015/04/20 职场文书
话题作文之自信作文
2019/11/15 职场文书
90行Python代码开发个人云盘应用
2021/04/20 Python