特征脸(Eigenface)理论基础之PCA主成分分析法


Posted in Python onMarch 13, 2018

在之前的博客 人脸识别经典算法一:特征脸方法(Eigenface)里面介绍了特征脸方法的原理,但是并没有对它用到的理论基础PCA做介绍,现在做补充。请将这两篇博文结合起来阅读。以下内容大部分参考自斯坦福机器学习课程:http://cs229.stanford.edu/materials.html

假设我们有一个关于机动车属性的数据集{x(i);i=1,...,m}(m代表机动车的属性个数),例如最大速度,最大转弯半径等。假设x(i)本质上是n维的空间的一个元素,其中n<<m,但是n对我们来说是未知的。假设xi和xj分别代表车以英里和公里为单位的最大速度。显然这两个属性是冗余的,因为它们两个是有线性关系而且可以相互转化的。因此如果仅以xi和xj来考虑的话,这个数据集是属于m-1维而不是m维空间的,所以n=m-1。推广之,我们该用什么方法降低数据冗余性呢?

首先考虑一个例子,假设有一份对遥控直升机操作员的调查,用x(i)1(1是下标,原谅我这操蛋的排版吧)表示飞行员i的飞行技能,x(i)2表示飞行员i喜欢飞行的程度。通常遥控直升飞机是很难操作的,只有那些非常坚持而且真正喜欢驾驶的人才能熟练操作。所以这两个属性x(i)1和x(i)2相关性是非常强的。我们可以假设两者的关系是按正比关系变化的,如下图里的u1所示,数据散布在u1两侧是因为有少许噪声。

特征脸(Eigenface)理论基础之PCA主成分分析法

接下来就是如何计算u1的方向了。首先我们需要预处理数据。

1.令特征脸(Eigenface)理论基础之PCA主成分分析法

2.用x(i)-μ替代x(i)

3.求特征脸(Eigenface)理论基础之PCA主成分分析法

4.用x(i)j/σj替代x(i)j

步骤1-2其实是将数据集的均值归零,也就是只取数据的偏差部分,对于本身均值为零的数据可以忽略这两步。步骤3-4是按照每个属性的方差将数据重新度量,也可以理解为归一化。因为对于不同的属性(比如车的速度和车座数目)如果不归一化是不具有比较性的,两者不在一个量级上。如果将pca应用到图像上的话是不需要步骤3-4的,因为每个像素(相当于不同的属性)的取值范围都是一样的。

数据经过如上处理之后,接下来就是寻找数据大致的走向了。一种方法是找到一个单位向量u,使所有数据在u上的投影之和最大,当然数据并不是严格按照u的方向分布的,而是分布在其周围。考虑下图的数据分布(这些数据已经做了前期的预处理)。

特征脸(Eigenface)理论基础之PCA主成分分析法

下图中,星号代表数据,原点代表数据在单位向量u上的投影(|x||u|cosΘ)

特征脸(Eigenface)理论基础之PCA主成分分析法

从上图可以看到,投影得到的数据仍然有很大的方差,而且投影点离原点很远。如果采取与上图u垂直的方向,则可以得到下图:

特征脸(Eigenface)理论基础之PCA主成分分析法

这里得到的投影方差比较小,而且离原点也更近。

上述u的方向只是感性的选择出来的,为了将选择u的步骤正式确定下来,可以假定在给定单位向量u和数据点x的情况下,投影的长度是xTu。举个例子,如果x(i)是数据集中的一个点(上图中的一个星号),那它在u上的投影xTu就是圆点到原点的距离(是标量哦)。所以,为了最大化投影的方差,我们需要选择一个单位向量u来最大化下式:

特征脸(Eigenface)理论基础之PCA主成分分析法

明显,按照||u||2=1(确保u是单位向量)来最大化上式就是求特征脸(Eigenface)理论基础之PCA主成分分析法的主特征向量。而特征脸(Eigenface)理论基础之PCA主成分分析法其实是数据集的协方差矩阵。

做个总结,如果我们要找数据集分布的一维子空间(就是将m维的数据用一维数据来表示),我们要选择协方差矩阵的主特征向量。推广之,如果要找k维的子空间,那就应该选择协方差矩阵的k个特征向量u1,u2,...,uk。ui(i=1,2,...,k)就是用来表征数据集的新坐标系。

为了在u1,u2,...,uk的基础上表示x(i),我们只需要计算

特征脸(Eigenface)理论基础之PCA主成分分析法

其中x(i)是属于n维空间的向量,而y(i)给出了基于k维空间的表示。因此说,PCA是一个数据降维算法。u1,u2,...,uk称为数据的k个主成分。

介绍到这里,还需要注意一些为题:

1、为什么u要选择单位向量

选择单位向量是为了统一表示数据,不选成单位的也可以,但各个向量长度必须统一,比如统一长度为2、3等等。

2、各个u要相互正交

如果u不正交,那么在各个u上的投影将含有冗余成分

2、为什么要最大化投影的方差

举个例子,如果在某个u上的投影方差为0,那这个u显然无法表示原数据,降维就没有意义了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python程序中操作文件之isatty()方法的使用教程
May 24 Python
python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别
Jun 04 Python
Scrapy基于selenium结合爬取淘宝的实例讲解
Jun 13 Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 Python
python实现的MySQL增删改查操作实例小结
Dec 19 Python
用Python逐行分析文件方法
Jan 28 Python
对DataFrame数据中的重复行,利用groupby累加合并的方法详解
Jan 30 Python
用Python调用win命令行提高工作效率的实例
Aug 14 Python
pygame实现俄罗斯方块游戏(基础篇3)
Oct 29 Python
Jupyter Notebook打开任意文件夹操作
Apr 14 Python
tensorflow使用freeze_graph.py将ckpt转为pb文件的方法
Apr 22 Python
python中数组和列表的简单实例
Mar 25 Python
python Celery定时任务的示例
Mar 13 #Python
人脸识别经典算法一 特征脸方法(Eigenface)
Mar 13 #Python
Python cookbook(数据结构与算法)从序列中移除重复项且保持元素间顺序不变的方法
Mar 13 #Python
Python+Django搭建自己的blog网站
Mar 13 #Python
python实现人脸识别经典算法(一) 特征脸法
Mar 13 #Python
tensorflow实现softma识别MNIST
Mar 12 #Python
wxpython实现图书管理系统
Mar 12 #Python
You might like
PHP 使用MySQL管理Session的回调函数详解
2013/06/21 PHP
PHP查询并删除数据库多列重复数据的方法(利用数组函数实现)
2016/02/23 PHP
yii2.0实现创建简单widgets示例
2016/07/18 PHP
php自定义排序uasort函数示例【二维数组按指定键值排序】
2019/06/19 PHP
解决PHPstudy Apache无法启动的问题【亲测有效】
2020/10/30 PHP
根据分辨率不同,调用不同的css文件
2006/08/25 Javascript
xtree.js 代码
2007/03/13 Javascript
prototype 中文参数乱码解决方案
2009/11/09 Javascript
JavaScript下利用fso判断文件是否存在的代码
2010/12/11 Javascript
Chrome Form多次提交表单问题的解决方法
2011/05/09 Javascript
JavaScript高级程序设计 阅读笔记(二十一) JavaScript中的XML
2012/09/14 Javascript
jquery对dom的操作常用方法整理
2013/06/25 Javascript
jquery indexOf使用方法
2013/08/19 Javascript
浅谈JavaScript数据类型及转换
2015/02/28 Javascript
JavaScript中的闭包介绍
2015/03/15 Javascript
javascript性能优化之DOM交互操作实例分析
2015/12/12 Javascript
angular ngClick阻止冒泡使用默认行为的方法
2016/11/03 Javascript
[02:16]DOTA2英雄基础教程 干扰者
2014/01/15 DOTA
phpsir 开发 一个检测百度关键字网站排名的python 程序
2009/09/17 Python
Python教程之全局变量用法
2016/06/27 Python
Django中ORM表的创建和增删改查方法示例
2017/11/15 Python
Python实现修改文件内容的方法分析
2018/03/25 Python
对Python Class之间函数的调用关系详解
2019/01/23 Python
局域网内python socket实现windows与linux间的消息传送
2019/04/19 Python
解决win7操作系统Python3.7.1安装后启动提示缺少.dll文件问题
2019/07/15 Python
python3实现在二叉树中找出和为某一值的所有路径(推荐)
2019/12/26 Python
Python Selenium实现无可视化界面过程解析
2020/08/25 Python
如何从csv文件构建Tensorflow的数据集
2020/09/21 Python
Python中读取文件名中的数字的实例详解
2020/12/25 Python
沪江旗下的海量优质课程平台:沪江网校
2017/11/07 全球购物
奠基仪式主持词
2014/03/20 职场文书
领导班子三严三实心得体会
2014/10/13 职场文书
六查六看自检自查剖析材料
2014/10/14 职场文书
2015年出纳个人工作总结
2015/04/02 职场文书
python自动化之如何利用allure生成测试报告
2021/05/02 Python
MySQL 5.7常见数据类型
2021/07/15 MySQL