python机器学习理论与实战(五)支持向量机


Posted in Python onJanuary 19, 2018

       做机器学习的一定对支持向量机(support vector machine-SVM)颇为熟悉,因为在深度学习出现之前,SVM一直霸占着机器学习老大哥的位子。他的理论很优美,各种变种改进版本也很多,比如latent-SVM, structural-SVM等。这节先来看看SVM的理论吧,在(图一)中A图表示有两类的数据集,图B,C,D都提供了一个线性分类器来对数据进行分类?但是哪个效果好一些?

python机器学习理论与实战(五)支持向量机

(图一)

        可能对这个数据集来说,三个的分类器都一样足够好了吧,但是其实不然,这个只是训练集,现实测试的样本分布可能会比较散一些,各种可能都有,为了应对这种情况,我们要做的就是尽可能的使得线性分类器离两个数据集都尽可能的远,因为这样就会减少现实测试样本越过分类器的风险,提高检测精度。这种使得数据集到分类器之间的间距(margin)最大化的思想就是支持向量机的核心思想,而离分类器距离最近的样本成为支持向量。既然知道了我们的目标就是为了寻找最大边距,怎么寻找支持向量?如何实现?下面以(图二)来说明如何完成这些工作。

python机器学习理论与实战(五)支持向量机

(图二)

假设(图二)中的直线表示一个超面,为了方面观看显示成一维直线,特征都是超面维度加一维度的,图中也可以看出,特征是二维,而分类器是一维的。如果特征是三维的,分类器就是一个平面。假设超面的解析式为python机器学习理论与实战(五)支持向量机,那么点A到超面的距离为python机器学习理论与实战(五)支持向量机,下面给出这个距离证明:

python机器学习理论与实战(五)支持向量机

(图三)

在(图三)中,青色菱形表示超面,Xn为数据集中一点,W是超面权重,而且W是垂直于超面的。证明垂直很简单,假设X'和X''都是超面上的一点,

python机器学习理论与实战(五)支持向量机

因此W垂直于超面。知道了W垂直于超面,那么Xn到超面的距离其实就是Xn和超面上任意一点x的连线在W上的投影,如(图四)所示:

python机器学习理论与实战(五)支持向量机

套进拉格朗日乘子法公式得到如(公式五)所示的样子:

python机器学习理论与实战(五)支持向量机

(公式五)

        在(公式五)中通过拉格朗日乘子法函数分别对W和b求导,为了得到极值点,令导数为0,得到

python机器学习理论与实战(五)支持向量机

 ,然后把他们代入拉格朗日乘子法公式里得到(公式六)的形式:

python机器学习理论与实战(五)支持向量机

(公式六)

     (公式六)后两行是目前我们要求解的优化函数,现在只需要做个二次规划即可求出alpha,二次规划优化求解如(公式七)所示:

python机器学习理论与实战(五)支持向量机

(公式七)

         通过(公式七)求出alpha后,就可以用(公式六)中的第一行求出W。到此为止,SVM的公式推导基本完成了,可以看出数学理论很严密,很优美,尽管有些同行们认为看起枯燥,但是最好沉下心来从头看完,也不难,难的是优化。二次规划求解计算量很大,在实际应用中常用SMO(Sequential minimal optimization)算法,SMO算法打算放在下节结合代码来说。

参考文献:

     [1]machine learning in action. Peter Harrington

     [2] Learning From Data. Yaser S.Abu-Mostafa

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python threading多线程编程实例
Sep 18 Python
Python制作数据导入导出工具
Jul 31 Python
Python 绘图和可视化详细介绍
Feb 11 Python
使用python生成目录树
Mar 29 Python
python实现猜单词小游戏
May 22 Python
Django添加sitemap的方法示例
Aug 06 Python
Python写一个基于MD5的文件监听程序
Mar 11 Python
python 一个figure上显示多个图像的实例
Jul 08 Python
Python脚本利用adb进行手机控制的方法
Jul 08 Python
Python日志logging模块功能与用法详解
Apr 09 Python
利用python控制Autocad:pyautocad方式
Jun 01 Python
python 如何用urllib与服务端交互(发送和接收数据)
Mar 04 Python
Python读取图片为16进制表示简单代码
Jan 19 #Python
Python实现pdf文档转txt的方法示例
Jan 19 #Python
浅谈Python实现2种文件复制的方法
Jan 19 #Python
用Python进行简单图像识别(验证码)
Jan 19 #Python
flask中使用蓝图将路由分开写在不同文件实例解析
Jan 19 #Python
python模拟事件触发机制详解
Jan 19 #Python
flask使用session保存登录状态及拦截未登录请求代码
Jan 19 #Python
You might like
PHP安全技术之 实现php基本安全
2010/09/04 PHP
php 多关键字 高亮显示实现代码
2012/04/23 PHP
深入PHP获取随机数字和字母的方法详解
2013/06/06 PHP
如何用php获取程序执行的时间
2013/06/09 PHP
学习php分页代码实例
2013/10/24 PHP
ThinkPHP添加更新标签的方法
2014/12/05 PHP
thinkPHP5.0框架应用请求生命周期分析
2017/03/25 PHP
Yii2实现自定义独立验证器的方法
2017/05/05 PHP
php把字符串指定字符分割成数组的方法
2018/03/12 PHP
Firefox中通过JavaScript复制数据到剪贴板(Copy to Clipboard 跨浏览器版)
2013/11/22 Javascript
JavaScript—window对象使用示例
2013/12/09 Javascript
ExtJS如何设置与获取radio控件的选取状态
2014/01/22 Javascript
ie 7/8不支持trim的属性的解决方案
2014/05/23 Javascript
详解JavaScript中常用的函数类型
2015/11/18 Javascript
最简单的JavaScript图片轮播代码(两种方法)
2015/12/18 Javascript
移动端 一个简单易懂的弹出框
2016/07/06 Javascript
JavaScript的兼容性与调试技巧
2016/11/22 Javascript
JS仿京东移动端手指拨动切换轮播图效果
2020/04/10 Javascript
jQuery发请求传输中文参数乱码问题的解决方案
2018/05/22 jQuery
angular2/ionic2 实现搜索结果中的搜索关键字高亮的示例
2018/08/17 Javascript
详解可以用在VS Code中的正则表达式小技巧
2019/05/14 Javascript
[48:48]VGJ.T vs Liquid 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
python连接字符串的方法小结
2015/07/13 Python
Python 类与元类的深度挖掘 II【经验】
2016/05/06 Python
python shell根据ip获取主机名代码示例
2017/11/25 Python
Python使用googletrans报错的解决方法
2018/09/25 Python
python爬虫之urllib库常用方法用法总结大全
2018/11/14 Python
使用Python画股票的K线图的方法步骤
2019/06/28 Python
Python箱型图绘制与特征值获取过程解析
2019/10/22 Python
tensorflow指定GPU与动态分配GPU memory设置
2020/02/03 Python
Python多重继承之菱形继承的实例详解
2020/02/12 Python
HTML5获取当前地理位置并在百度地图上展示的实例
2020/07/10 HTML / CSS
会议活动邀请函
2014/01/27 职场文书
群众路线批评与自我批评发言稿
2014/10/16 职场文书
给下属加薪申请报告
2015/05/15 职场文书
警示教育片观后感
2015/06/17 职场文书