Python实现决策树并且使用Graphviz可视化的例子


Posted in Python onAugust 09, 2019

一、什么是决策树(decision tree)——机器学习中的一个重要的分类算法

决策树是一个类似于数据流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或者类的分布,树的最顶层是根结点

根据天气情况决定出游与否的案例

Python实现决策树并且使用Graphviz可视化的例子

二、决策树算法构建

2.1决策树的核心思路

特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。

决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。

剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

实现决策树的算法包括ID3、C4.5算法等。常见的ID3核心思想是以信息增益度量属性选择,选择分裂后信息增益最大的属性进行分裂。

一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常不确定的事情,或者是我们一无所知的事情,需要大量的信息====>信息量的度量就等于不确定性的 多少。也就是说变量的不确定性越大,熵就越大

信息熵的计算公司

Python实现决策树并且使用Graphviz可视化的例子

S为所有事件集合,p为发生概率,c为特征总数。

信息增益(information gain)是指信息划分前后的熵的变化,也就是说由于使用这个属性分割样例而导致的期望熵降低。也就是说,信息增益就是原有信息熵与属性划分后信息熵(需要对划分后的信息熵取期望值)的差值,具体计算如下:

Python实现决策树并且使用Graphviz可视化的例子

其中,第二项为属性A对S划分的期望信息。

三、IDE3决策树的Python实现

以下面这个不同年龄段的人买电脑的情况为例子建模型算法

Python实现决策树并且使用Graphviz可视化的例子

'''
Created on 2018年7月5日
使用python内的科学计算的库实现利用决策树解决问题 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#数据存储的格式 python自带不需要安装
import csv 
#预处理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目录形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存储成csv格式并且是utf-8格式的编码
'''
'''
决策树数据源读取
scklearn要求的数据类型 特征值属性必须是数值型的
需要对数据进行预处理
'''
#装特征的值
featureList=[] 
#装类别的词
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
将原始数据转换成包含有字典的List
将建好的包含字典的list用DictVectorizer对象转换成0-1矩阵
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#对于类别使用同样的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.构建分类器——决策树模型
 2.使用数据训练决策树模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.将生成的分类器转换成dot格式的 数据
2.在命令行中dot -Tpdf iris.dot -o output.pdf将dot文件转换成pdf图的文件
'''
#视频上讲的不适用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())

Graphviz对决策树的可视化

Python实现决策树并且使用Graphviz可视化的例子

以上这篇Python实现决策树并且使用Graphviz可视化的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之传说中的函数编写条规
Oct 11 Python
python基础教程之匿名函数lambda
Jan 17 Python
tensorflow输出权重值和偏差的方法
Feb 10 Python
Python多进程原理与用法分析
Aug 21 Python
对python周期性定时器的示例详解
Feb 19 Python
python爬虫基础教程:requests库(二)代码实例
Apr 09 Python
基于python的ini配置文件操作工具类
Apr 24 Python
解决Pycharm后台indexing导致不能run的问题
Jun 27 Python
详解Django 时间与时区设置问题
Jul 23 Python
python自动化实现登录获取图片验证码功能
Nov 20 Python
Python实现捕获异常发生的文件和具体行数
Apr 25 Python
Appium+Python实现简单的自动化登录测试的实现
Jan 26 Python
Django ORM 常用字段与不常用字段汇总
Aug 09 #Python
详解如何减少python内存的消耗
Aug 09 #Python
Django命名URL和反向解析URL实现解析
Aug 09 #Python
利用python list完成最简单的DB连接池方法
Aug 09 #Python
python使用requests.session模拟登录
Aug 09 #Python
如何在Cloud Studio上执行Python代码?
Aug 09 #Python
python切片(获取一个子列表(数组))详解
Aug 09 #Python
You might like
PHP+javascript液晶时钟
2006/10/09 PHP
PHP管理依赖(dependency)关系工具 Composer的自动加载(autoload)
2014/08/18 PHP
php 读取输出其他文件的实现方法
2016/07/26 PHP
PHP中的日期时间处理利器实例(Carbon)
2017/06/09 PHP
Laravel实现搜索的时候分页并携带参数
2019/10/15 PHP
Laravel 实现添加多语言提示信息
2019/10/25 PHP
Apache+PHP+MySQL搭建PHP开发环境图文教程
2020/08/06 PHP
Javascript调用C#代码
2011/01/17 Javascript
javascript类型转换使用方法
2014/02/08 Javascript
javascript折半查找详解
2015/01/26 Javascript
JS特效实现图片自动播放并可控的效果
2015/07/31 Javascript
jQuery实现滚动条滚动到子元素位置(方便定位)
2017/01/08 Javascript
Node.js readline 逐行读取、写入文件内容的示例
2018/03/01 Javascript
Mint UI实现A-Z字母排序的城市选择列表
2018/12/28 Javascript
Vue使用.sync 实现父子组件的双向绑定数据问题
2019/04/04 Javascript
vue两组件间值传递 $router.push实现方法
2019/05/15 Javascript
Bootstrap实现省市区三级联动(亲测可用)
2019/07/26 Javascript
JS数组方法slice()用法实例分析
2020/01/18 Javascript
ng-alain的sf如何自定义部件的流程
2020/06/12 Javascript
vue+iview分页组件的封装
2020/11/17 Vue.js
[03:39]DOTA2英雄梦之声_第05期_幽鬼
2014/06/23 DOTA
[19:26]TNC vs EG (BO3)
2018/06/07 DOTA
python调用新浪微博API项目实践
2014/07/28 Python
在Python中使用cookielib和urllib2配合PyQuery抓取网页信息
2015/04/25 Python
Python实现各种排序算法的代码示例总结
2015/12/11 Python
python爬虫增加访问量的方法
2019/08/22 Python
Python面向对象之私有属性和私有方法应用案例分析
2019/12/31 Python
Python OpenCV实现测量图片物体宽度
2020/05/27 Python
Booking.com德国:预订最好的酒店和住宿
2020/02/16 全球购物
俄罗斯首家面向中国消费者的一站式购物网站:Wruru
2020/05/08 全球购物
电子商务专业毕业生工作推荐信
2013/11/17 职场文书
劳资人员岗位职责
2013/12/19 职场文书
社团文化节邀请函
2014/01/10 职场文书
环保专业大学生职业规划设计
2014/01/10 职场文书
创业计划书之DIY自助厨房
2019/09/06 职场文书
mysql 8.0.27 绿色解压版安装教程及配置方法
2022/04/20 MySQL