python实现高斯判别分析算法的例子


Posted in Python onDecember 09, 2019

高斯判别分析算法(Gaussian discriminat analysis)

高斯判别算法是一个典型的生成学习算法(关于生成学习算法可以参考我的另外一篇博客)。在这个算法中,我们假设p(x|y)p(x|y)服从多元正态分布。

注:在判别学习算法中,我们假设p(y|x)p(y|x)服从一维正态分布,这个很好类比,因为在模型中输入数据XX通常是拥有很多维度的,所以对于XX的条件概率建模时要取多维正态分布。

多元正态分布

多元正态分布也叫多元高斯分布,这个分布的两个参数分别是平均向量μ∈Rnμ∈Rn和一个协方差矩阵∑∈Rn×n∑∈Rn×n

关于协方差矩阵的定义;假设XX是由nn个标量随机变量组成的列向量,并且μkμk是第kk个元素的期望值,即μk=E(Xk)μk=E(Xk),那么协方差矩阵被定义为

python实现高斯判别分析算法的例子

下面是一些二维高斯分布的概率密度图像:

python实现高斯判别分析算法的例子

最右边的图像展现的二维高斯分布的均值是零向量(2x1的零向量),协方差矩阵Σ=IΣ=I(2x2的单位矩阵),像这样以零向量为均值以单位阵为协方差的多维高斯分布称为标准正态分布,中间的图像以零向量为均值,Σ=0.6IΣ=0.6I;最右边的图像中Σ=2IΣ=2I,观察发现当ΣΣ越大时,高斯分布越“铺开”,当ΣΣ越小时,高斯分布越“收缩”。

让我们看一些其他例子对比发现规律

python实现高斯判别分析算法的例子

上图中展示的三个高斯分布对应的均值均为零向量,协方差矩阵分别对应与下面三个

python实现高斯判别分析算法的例子

最左边的图像是我们熟悉的标准二维正态分布,然后我们观察到当我们增加ΣΣ的非主对角元素时,概率密度图像沿着45°线(x1=x2x1=x2)“收缩”,从对应的等高线轮廓图可以跟清楚的看到这一点:

python实现高斯判别分析算法的例子

通过对比右边和中间的两幅图发现,通过减少主对角元素可以让概率密度图像变得“收缩”,不过是在相反的方向上。

python实现高斯判别分析算法的例子

高斯判别分析模型

当我们处理输入特征是连续随机变量xx时的分类问题时,我们可以使用高斯判别分析模型(GDA),用多元正态分布模型来描述p(x|y)p(x|y),模型的具体数学表达式是这样的:

python实现高斯判别分析算法的例子

通过最大化似然函数ll可以得到上面四个参数的估计值:

python实现高斯判别分析算法的例子

我们用图像直观的描述一下算法处理的结果:

python实现高斯判别分析算法的例子

python的实现demo 如下:

第57的高斯概率密度函数用矩阵运算写有bug没跑通,又因为实验数据只有二维,于是在纸上对上文中矩阵运算公式进行了化简至最后结果写在了函数里。如有疑问可以拿出笔来演算一下。

#GDA
#author:Xiaolewen
import matplotlib.pyplot as plt
from numpy import *

#Randomly generate two cluster data of Gaussian distributions
mean0=[2,3]
cov=mat([[1,0],[0,2]])
x0=random.multivariate_normal(mean0,cov,500).T #The first class point which labael equal 0
y0=zeros(shape(x0)[1])
#print x0,y0
mean1=[7,8]
cov=mat([[1,0],[0,2]])
x1=random.multivariate_normal(mean1,cov,300).T
y1=ones(shape(x1)[1]) #The second class point which label equals 1
#print x1,y1

x=array([concatenate((x0[0],x1[0])),concatenate((x0[1],x1[1]))])
y=array([concatenate((y0,y1))])
m=shape(x)[1]
#print x,y,m
#Caculate the parameters:\phi,\u0,\u1,\Sigma
phi=(1.0/m)*len(y1)
#print phi
u0=mean(x0,axis=1) 
#print u0
u1=mean(x1,axis=1)
#print u1

xplot0=x0;xplot1=x1 #save the original data to plot 
x0=x0.T;x1=x1.T;x=x.T
#print x0,x1,x
x0_sub_u0=x0-u0
x1_sub_u1=x1-u1
#print x0_sub_u0
#print x1_sub_u1
x_sub_u=concatenate([x0_sub_u0,x1_sub_u1])
#print x_sub_u

x_sub_u=mat(x_sub_u)
#print x_sub_u

sigma=(1.0/m)*(x_sub_u.T*x_sub_u)
#print sigma

#plot the discriminate boundary ,use the u0_u1's midnormal
midPoint=[(u0[0]+u1[0])/2.0,(u0[1]+u1[1])/2.0]
#print midPoint
k=(u1[1]-u0[1])/(u1[0]-u0[0])
#print k
x=range(-2,11)
y=[(-1.0/k)*(i-midPoint[0])+midPoint[1] for i in x]



#plot contour for two gaussian distributions
def gaussian_2d(x, y, x0, y0, sigmaMatrix):
 return exp(-0.5*((x-x0)**2+0.5*(y-y0)**2))
delta = 0.025
xgrid0=arange(-2, 6, delta)
ygrid0=arange(-2, 6, delta)
xgrid1=arange(3,11,delta)
ygrid1=arange(3,11,delta)
X0,Y0=meshgrid(xgrid0, ygrid0) #generate the grid
X1,Y1=meshgrid(xgrid1,ygrid1)
Z0=gaussian_2d(X0,Y0,2,3,cov)
Z1=gaussian_2d(X1,Y1,7,8,cov)

#plot the figure and add comments
plt.figure(1)
plt.clf()
plt.plot(xplot0[0],xplot0[1],'ko')
plt.plot(xplot1[0],xplot1[1],'gs')
plt.plot(u0[0],u0[1],'rx',markersize=20)
plt.plot(u1[0],u1[1],'y*',markersize=20)
plt.plot(x,y)
CS0=plt.contour(X0, Y0, Z0)
plt.clabel(CS0, inline=1, fontsize=10)
CS1=plt.contour(X1,Y1,Z1)
plt.clabel(CS1, inline=1, fontsize=10)
plt.title("Gaussian discriminat analysis")
plt.xlabel('Feature Dimension (0)')
plt.ylabel('Feature Dimension (1)')
plt.show(1)

这是最终的拟合结果:

python实现高斯判别分析算法的例子

以上这篇python实现高斯判别分析算法的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python编写一个模仿CPU工作的程序
Apr 16 Python
python编码最佳实践之总结
Feb 14 Python
selenium python浏览器多窗口处理代码示例
Jan 15 Python
python批量查询、汉字去重处理CSV文件
May 31 Python
python3学习之Splash的安装与实例教程
Jul 09 Python
使用python serial 获取所有的串口名称的实例
Jul 02 Python
python 协程中的迭代器,生成器原理及应用实例详解
Oct 28 Python
jupyter notebook 参数传递给shell命令行实例
Apr 10 Python
使用python采集Excel表中某一格数据
May 14 Python
Python中SQLite如何使用
May 27 Python
Python机器学习之PCA降维算法详解
May 19 Python
如何判断pytorch是否支持GPU加速
Jun 01 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
Dec 09 #Python
使用 Python 写一个简易的抽奖程序
Dec 08 #Python
布隆过滤器的概述及Python实现方法
Dec 08 #Python
Python+Redis实现布隆过滤器
Dec 08 #Python
PyCharm 2019.3发布增加了新功能一览
Dec 08 #Python
使用tqdm显示Python代码执行进度功能
Dec 08 #Python
Python tkinter实现图片标注功能(完整代码)
Dec 08 #Python
You might like
实战mysql导出中文乱码及phpmyadmin导入中文乱码的解决方法
2010/06/11 PHP
PHP逐行输出(ob_flush与flush的组合)
2012/02/04 PHP
PHP常用字符串输出方法分析(echo,print,printf及sprintf)
2021/03/09 PHP
javascript笔试题目附答案@20081025_jb51.net
2008/10/26 Javascript
再谈ie和firefox下的document.all属性
2009/10/21 Javascript
javascript,jquery闭包概念分析
2010/06/19 Javascript
用XMLDOM和ADODB.Stream实现base64编码解码实现代码
2010/11/28 Javascript
简单的jquery拖拽排序效果实现代码
2011/09/20 Javascript
基于jQuery中对数组进行操作的方法
2013/04/16 Javascript
js保留两位小数使用toFixed实现
2013/07/29 Javascript
js 数值转换为3位逗号分隔的示例代码
2014/02/19 Javascript
javascript随机抽取0-100之间不重复的10个数
2016/02/25 Javascript
javascript中this指向详解
2016/04/23 Javascript
JS公共小方法之判断对象是否为domElement的实例
2016/11/25 Javascript
基于JavaScript实现右键菜单和拖拽功能
2016/11/28 Javascript
学习使用bootstrap的modal和carousel
2016/12/09 Javascript
JS常见简单正则表达式验证功能小结【手机,地址,企业税号,金额,身份证等】
2017/01/22 Javascript
从零开始学习Node.js系列教程四:多页面实现数学运算的client端和server端示例
2017/04/13 Javascript
jQuery.Form实现Ajax上传文件同时设置headers的方法
2017/06/26 jQuery
vue 权限认证token的实现方法
2018/07/17 Javascript
vue以组件或者插件的形式实现throttle或者debounce
2019/05/22 Javascript
[45:16]完美世界DOTA2联赛PWL S3 Magma vs Phoenix 第一场 12.12
2020/12/16 DOTA
tensorflow TFRecords文件的生成和读取的方法
2018/02/06 Python
在python中创建指定大小的多维数组方式
2019/11/28 Python
python 实现任务管理清单案例
2020/04/25 Python
Python基于模块Paramiko实现SSHv2协议
2020/04/28 Python
20行Python代码实现一款永久免费PDF编辑工具的实现
2020/08/27 Python
CSS3打造百度贴吧的3D翻牌效果示例
2017/01/04 HTML / CSS
iframe跨域的几种常用方法
2019/11/11 HTML / CSS
小学校园活动策划
2014/01/30 职场文书
《玩具柜台前的孩子》教学反思
2014/02/13 职场文书
会计专业求职信范文
2014/03/16 职场文书
廉洁教育学习材料
2014/05/19 职场文书
学习朴航瑛老师爱岗敬业先进事迹思想汇报
2014/09/17 职场文书
spring cloud 配置中心native配置方式
2021/09/25 Java/Android
vue-cli3.x配置全局的scss的时候报错问题及解决
2022/04/30 Vue.js