python机器学习理论与实战(五)支持向量机


Posted in Python onJanuary 19, 2018

       做机器学习的一定对支持向量机(support vector machine-SVM)颇为熟悉,因为在深度学习出现之前,SVM一直霸占着机器学习老大哥的位子。他的理论很优美,各种变种改进版本也很多,比如latent-SVM, structural-SVM等。这节先来看看SVM的理论吧,在(图一)中A图表示有两类的数据集,图B,C,D都提供了一个线性分类器来对数据进行分类?但是哪个效果好一些?

python机器学习理论与实战(五)支持向量机

(图一)

        可能对这个数据集来说,三个的分类器都一样足够好了吧,但是其实不然,这个只是训练集,现实测试的样本分布可能会比较散一些,各种可能都有,为了应对这种情况,我们要做的就是尽可能的使得线性分类器离两个数据集都尽可能的远,因为这样就会减少现实测试样本越过分类器的风险,提高检测精度。这种使得数据集到分类器之间的间距(margin)最大化的思想就是支持向量机的核心思想,而离分类器距离最近的样本成为支持向量。既然知道了我们的目标就是为了寻找最大边距,怎么寻找支持向量?如何实现?下面以(图二)来说明如何完成这些工作。

python机器学习理论与实战(五)支持向量机

(图二)

假设(图二)中的直线表示一个超面,为了方面观看显示成一维直线,特征都是超面维度加一维度的,图中也可以看出,特征是二维,而分类器是一维的。如果特征是三维的,分类器就是一个平面。假设超面的解析式为python机器学习理论与实战(五)支持向量机,那么点A到超面的距离为python机器学习理论与实战(五)支持向量机,下面给出这个距离证明:

python机器学习理论与实战(五)支持向量机

(图三)

在(图三)中,青色菱形表示超面,Xn为数据集中一点,W是超面权重,而且W是垂直于超面的。证明垂直很简单,假设X'和X''都是超面上的一点,

python机器学习理论与实战(五)支持向量机

因此W垂直于超面。知道了W垂直于超面,那么Xn到超面的距离其实就是Xn和超面上任意一点x的连线在W上的投影,如(图四)所示:

python机器学习理论与实战(五)支持向量机

套进拉格朗日乘子法公式得到如(公式五)所示的样子:

python机器学习理论与实战(五)支持向量机

(公式五)

        在(公式五)中通过拉格朗日乘子法函数分别对W和b求导,为了得到极值点,令导数为0,得到

python机器学习理论与实战(五)支持向量机

 ,然后把他们代入拉格朗日乘子法公式里得到(公式六)的形式:

python机器学习理论与实战(五)支持向量机

(公式六)

     (公式六)后两行是目前我们要求解的优化函数,现在只需要做个二次规划即可求出alpha,二次规划优化求解如(公式七)所示:

python机器学习理论与实战(五)支持向量机

(公式七)

         通过(公式七)求出alpha后,就可以用(公式六)中的第一行求出W。到此为止,SVM的公式推导基本完成了,可以看出数学理论很严密,很优美,尽管有些同行们认为看起枯燥,但是最好沉下心来从头看完,也不难,难的是优化。二次规划求解计算量很大,在实际应用中常用SMO(Sequential minimal optimization)算法,SMO算法打算放在下节结合代码来说。

参考文献:

     [1]machine learning in action. Peter Harrington

     [2] Learning From Data. Yaser S.Abu-Mostafa

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用any判断一个对象是否为空的方法
Nov 19 Python
开始着手第一个Django项目
Jul 15 Python
Windows中使用wxPython和py2exe开发Python的GUI程序的实例教程
Jul 11 Python
Python获取文件所在目录和文件名的方法
Jan 12 Python
Python进阶_关于命名空间与作用域(详解)
May 29 Python
python3 图片referer防盗链的实现方法
Mar 12 Python
Python 十六进制整数与ASCii编码字符串相互转换方法
Jul 09 Python
TensorFlow查看输入节点和输出节点名称方式
Jan 04 Python
Python3操作YAML文件格式方法解析
Apr 10 Python
如何用python写个模板引擎
Jan 14 Python
Python 发送SMTP邮件的简单教程
Jun 24 Python
python和anaconda的区别
May 06 Python
Python读取图片为16进制表示简单代码
Jan 19 #Python
Python实现pdf文档转txt的方法示例
Jan 19 #Python
浅谈Python实现2种文件复制的方法
Jan 19 #Python
用Python进行简单图像识别(验证码)
Jan 19 #Python
flask中使用蓝图将路由分开写在不同文件实例解析
Jan 19 #Python
python模拟事件触发机制详解
Jan 19 #Python
flask使用session保存登录状态及拦截未登录请求代码
Jan 19 #Python
You might like
Yii中render和renderPartial的区别
2014/09/03 PHP
PHP中的Session对象如何使用
2015/09/25 PHP
一行代码实现纯数据json对象的深度克隆实现思路
2013/01/09 Javascript
jQuery操作Select选择的Text和Value(获取/设置/添加/删除)
2013/03/06 Javascript
jQuery ReferenceError: $ is not defined 错误的处理办法
2013/05/10 Javascript
JS获取select-option-text_value的方法
2013/12/26 Javascript
利用JS解决ie6不支持max-width,max-height问题的方法
2014/01/02 Javascript
js字符串转换成数字与数字转换成字符串的实现方法
2014/01/08 Javascript
有关easyui-layout中的收缩层无法显示标题的解决办法
2016/05/10 Javascript
使用vue.js制作分页组件
2016/06/27 Javascript
Vue表单实例代码
2016/09/05 Javascript
使用bootstrapValidator插件进行动态添加表单元素并校验
2016/09/28 Javascript
Vue.js -- 过滤器使用总结
2017/02/18 Javascript
jQuery菜单实例(全选,反选,取消)
2017/08/28 jQuery
使用electron制作满屏心特效的示例代码
2018/11/27 Javascript
node.js学习笔记之koa框架和简单爬虫练习
2018/12/13 Javascript
微信小程序生成二维码的示例代码
2019/03/29 Javascript
微信小程序template模板与component组件的区别和使用详解
2019/05/22 Javascript
使用Vue生成动态表单
2019/11/26 Javascript
JS前端模块化原理与实现方法详解
2020/03/17 Javascript
[38:21]2018DOTA2亚洲邀请赛3月30日 小组赛A组 LGD VS Newbee
2018/03/31 DOTA
python 文件与目录操作
2008/12/24 Python
Django 根据数据模型models创建数据表的实例
2018/05/27 Python
matplotlib quiver箭图绘制案例
2020/04/17 Python
Pyecharts地图显示不完成问题解决方案
2020/05/11 Python
Django 允许局域网中的机器访问你的主机操作
2020/05/13 Python
巴西最大的家电和百货零售商:Casas Bahia
2016/11/22 全球购物
linux系统都有哪些运行级别
2012/04/15 面试题
班组长安全职责
2014/01/05 职场文书
医院实习介绍信
2014/01/12 职场文书
物理系毕业生自荐书范文
2014/02/22 职场文书
校园文明倡议书
2014/05/16 职场文书
2014物价局民主生活会对照检查材料思想汇报
2014/09/24 职场文书
2014年爱国卫生工作总结
2014/11/22 职场文书
自主招生推荐信怎么写
2015/03/26 职场文书
2015年办公室主任工作总结
2015/04/09 职场文书