python机器学习理论与实战(二)决策树


Posted in Python onJanuary 19, 2018

        决策树也是有监督机器学习方法。 电影《无耻混蛋》里有一幕游戏,在德军小酒馆里有几个人在玩20问题游戏,游戏规则是一个设迷者在纸牌中抽出一个目标(可以是人,也可以是物),而猜谜者可以提问题,设迷者只能回答是或者不是,在几个问题(最多二十个问题)之后,猜谜者通过逐步缩小范围就准确的找到了答案。这就类似于决策树的工作原理。(图一)是一个判断邮件类别的工作方式,可以看出判别方法很简单,基本都是阈值判断,关键是如何构建决策树,也就是如何训练一个决策树。

python机器学习理论与实战(二)决策树

(图一)

构建决策树的伪代码如下:

Check if every item in the dataset is in the same class:
    If so return the class label
    Else 
      find the best feature to split the data
       split the dataset 
       create a branch node
       for each split
          call create Branch and add the result to the branch node

      return branch node

         原则只有一个,尽量使得每个节点的样本标签尽可能少,注意上面伪代码中一句说:find the best feature to split the data,那么如何find thebest feature?一般有个准则就是尽量使得分支之后节点的类别纯一些,也就是分的准确一些。如(图二)中所示,从海洋中捞取的5个动物,我们要判断他们是否是鱼,先用哪个特征?

python机器学习理论与实战(二)决策树

(图二)

         为了提高识别精度,我们是先用“离开陆地能否存活”还是“是否有蹼”来判断?我们必须要有一个衡量准则,常用的有信息论、基尼纯度等,这里使用前者。我们的目标就是选择使得分割后数据集的标签信息增益最大的那个特征,信息增益就是原始数据集标签基熵减去分割后的数据集标签熵,换句话说,信息增益大就是熵变小,使得数据集更有序。熵的计算如(公式一)所示:

python机器学习理论与实战(二)决策树

有了指导原则,那就进入代码实战阶段,先来看看熵的计算代码:

def calcShannonEnt(dataSet): 
  numEntries = len(dataSet) 
  labelCounts = {} 
  for featVec in dataSet: #the the number of unique elements and their occurance 
    currentLabel = featVec[-1] 
    if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0 
    labelCounts[currentLabel] += 1 #收集所有类别的数目,创建字典 
  shannonEnt = 0.0 
  for key in labelCounts: 
    prob = float(labelCounts[key])/numEntries 
    shannonEnt -= prob * log(prob,2) #log base 2 计算熵 
  return shannonEnt

有了熵的计算代码,接下来看依照信息增益变大的原则选择特征的代码:

def splitDataSet(dataSet, axis, value): 
  retDataSet = [] 
  for featVec in dataSet: 
    if featVec[axis] == value: 
      reducedFeatVec = featVec[:axis]   #chop out axis used for splitting 
      reducedFeatVec.extend(featVec[axis+1:]) 
      retDataSet.append(reducedFeatVec) 
  return retDataSet 
   
def chooseBestFeatureToSplit(dataSet): 
  numFeatures = len(dataSet[0]) - 1   #the last column is used for the labels 
  baseEntropy = calcShannonEnt(dataSet) 
  bestInfoGain = 0.0; bestFeature = -1 
  for i in range(numFeatures):    #iterate over all the features 
    featList = [example[i] for example in dataSet]#create a list of all the examples of this feature 
    uniqueVals = set(featList)    #get a set of unique values 
    newEntropy = 0.0 
    for value in uniqueVals: 
      subDataSet = splitDataSet(dataSet, i, value) 
      prob = len(subDataSet)/float(len(dataSet)) 
      newEntropy += prob * calcShannonEnt(subDataSet)    
    infoGain = baseEntropy - newEntropy   #calculate the info gain; ie reduction in entropy 
    if (infoGain > bestInfoGain):    #compare this to the best gain so far  #选择信息增益最大的代码在此 
      bestInfoGain = infoGain     #if better than current best, set to best 
      bestFeature = i 
  return bestFeature           #returns an integer

        从最后一个if可以看出,选择使得信息增益最大的特征作为分割特征,现在有了特征分割准则,继续进入一下个环节,如何构建决策树,其实就是依照最上面的伪代码写下去,采用递归的思想依次分割下去,直到执行完成就构建了决策树。代码如下:

def majorityCnt(classList): 
  classCount={} 
  for vote in classList: 
    if vote not in classCount.keys(): classCount[vote] = 0 
    classCount[vote] += 1 
  sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) 
  return sortedClassCount[0][0] 
 
def createTree(dataSet,labels): 
  classList = [example[-1] for example in dataSet] 
  if classList.count(classList[0]) == len(classList):  
    return classList[0]#stop splitting when all of the classes are equal 
  if len(dataSet[0]) == 1: #stop splitting when there are no more features in dataSet 
    return majorityCnt(classList) 
  bestFeat = chooseBestFeatureToSplit(dataSet) 
  bestFeatLabel = labels[bestFeat] 
  myTree = {bestFeatLabel:{}} 
  del(labels[bestFeat]) 
  featValues = [example[bestFeat] for example in dataSet] 
  uniqueVals = set(featValues) 
  for value in uniqueVals: 
    subLabels = labels[:]    #copy all of labels, so trees don't mess up existing labels 
    myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels) 
  return myTree

用图二的样本构建的决策树如(图三)所示:

python机器学习理论与实战(二)决策树

(图三)

有了决策树,就可以用它做分类咯,分类代码如下:

def classify(inputTree,featLabels,testVec): 
  firstStr = inputTree.keys()[0] 
  secondDict = inputTree[firstStr] 
  featIndex = featLabels.index(firstStr) 
  key = testVec[featIndex] 
  valueOfFeat = secondDict[key] 
  if isinstance(valueOfFeat, dict):  
    classLabel = classify(valueOfFeat, featLabels, testVec) 
  else: classLabel = valueOfFeat 
  return classLabel

最后给出序列化决策树(把决策树模型保存在硬盘上)的代码:

def storeTree(inputTree,filename): 
  import pickle 
  fw = open(filename,'w') 
  pickle.dump(inputTree,fw) 
  fw.close() 
   
def grabTree(filename): 
  import pickle 
  fr = open(filename) 
  return pickle.load(fr)

优点:检测速度快

缺点:容易过拟合,可以采用修剪的方式来尽量避免

参考文献:machine learning in action

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python对SQLite数据库操作
Apr 06 Python
pycharm 将django中多个app放到同个文件夹apps的处理方法
May 30 Python
Pandas 按索引合并数据集的方法
Nov 15 Python
Python设计模式之代理模式实例详解
Jan 19 Python
python+selenium 定位到元素,无法点击的解决方法
Jan 30 Python
Python flask框架post接口调用示例
Jul 03 Python
在Anaconda3下使用清华镜像源安装TensorFlow(CPU版)
Apr 19 Python
详解Python中namedtuple的使用
Apr 27 Python
pycharm 2018 激活码及破解补丁激活方式
Sep 21 Python
python进行二次方程式计算的实例讲解
Dec 06 Python
Python的这些库,你知道多少?
Jun 09 Python
python开发的自动化运维工具ansible详解
Aug 07 Python
Python三种遍历文件目录的方法实例代码
Jan 19 #Python
python机器学习理论与实战(一)K近邻法
Jan 28 #Python
python机器学习理论与实战(六)支持向量机
Jan 19 #Python
Python logging管理不同级别log打印和存储实例
Jan 19 #Python
python机器学习理论与实战(五)支持向量机
Jan 19 #Python
Python读取图片为16进制表示简单代码
Jan 19 #Python
Python实现pdf文档转txt的方法示例
Jan 19 #Python
You might like
解析wamp5下虚拟机配置文档
2013/06/27 PHP
php获取操作系统语言代码
2013/11/04 PHP
一个非常完美的读写ini格式的PHP配置类分享
2015/02/12 PHP
PHP整合PayPal支付
2015/06/11 PHP
javascript使用isNaN()函数判断变量是否为数字
2013/09/21 Javascript
javascript:window.open弹出窗口的位置问题
2014/03/18 Javascript
javascript实现复选框选中属性
2015/03/25 Javascript
node.js读取文件到字符串的方法
2015/06/29 Javascript
jQuery学习笔记之Ajax用法实例详解
2015/12/01 Javascript
JavaScript程序开发之JS代码放置的位置
2016/01/15 Javascript
JavaScript文本框脚本编写的注意事项
2016/01/25 Javascript
jQuery多个版本和其他js库冲突的解决方法
2016/08/11 Javascript
AngularJS中的按需加载ocLazyLoad示例
2017/01/11 Javascript
详解如何将angular-ui的图片轮播组件封装成一个指令
2017/05/09 Javascript
nodejs+websocket实时聊天系统改进版
2017/05/18 NodeJs
基于vue-simple-uploader封装文件分片上传、秒传及断点续传的全局上传插件功能
2021/02/23 Vue.js
[48:38]DOTA2亚洲邀请赛 3.31 小组赛 B组 Mineski vs Secret
2018/03/31 DOTA
python十进制和二进制的转换方法(含浮点数)
2018/07/07 Python
pyenv虚拟环境管理python多版本和软件库的方法
2019/12/26 Python
Python编程快速上手——疯狂填词程序实现方法分析
2020/02/29 Python
python数据库编程 Mysql实现通讯录
2020/03/27 Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
2020/05/25 Python
python GUI计算器的实现
2020/10/09 Python
利用Opencv实现图片的油画特效实例
2021/02/28 Python
使用phonegap获取位置信息的实现方法
2017/03/31 HTML / CSS
Get The Label中文官网:英国运动时尚购物平台
2017/04/19 全球购物
Giglio英国站:意大利奢侈品购物网
2018/03/06 全球购物
同程旅游英文网站:LY.com
2018/11/13 全球购物
一份软件工程师的面试试题
2016/02/01 面试题
周年庆典邀请函范文
2014/01/23 职场文书
2014大学校园光棍节活动策划书
2014/09/29 职场文书
升职感谢信
2015/01/22 职场文书
社区五一劳动节活动总结
2015/02/09 职场文书
2015年防灾减灾工作总结
2015/07/24 职场文书
小学二年级班主任工作经验交流材料
2015/11/02 职场文书
sql注入教程之类型以及提交注入
2021/08/02 MySQL