Python机器学习之PCA降维算法详解


Posted in Python onMay 19, 2021

一、算法概述

  • 主成分分析 (Principal ComponentAnalysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。
  • PCA 是最常用的一种降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的方差最大,以此使用较少的维度,同时保留较多原数据的维度。
  • PCA 算法目标是求出样本数据协方差矩阵的特征值和特征向量,而协方差矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后,能尽可能表征原始的数据。
  • PCA 可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能的保留原始数据的信息。
  • PCA 通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理等。

二、算法步骤

Python机器学习之PCA降维算法详解

1.将原始数据按行组成m行n列的矩阵X

2.将X的每一列(代表一个属性字段)进行零均值化,即减去这一列的均值

3.求出协方差矩阵

4.求出协方差矩阵的特征值及对应的特征向量r

5.将特征向量按对应特征值大小从左到右按列排列成矩阵,取前k列组成矩阵P

6.计算降维到k维的数据

三、相关概念

  • 方差:描述一个数据的离散程度

Python机器学习之PCA降维算法详解

  • 协方差:描述两个数据的相关性,接近1就是正相关,接近-1就是负相关,接近0就是不相关

Python机器学习之PCA降维算法详解

  • 协方差矩阵:协方差矩阵是一个对称的矩阵,而且对角线是各个维度的方差

Python机器学习之PCA降维算法详解

  • 特征值:用于选取降维的K个特征值
  • 特征向量:用于选取降维的K个特征向量

四、算法优缺点

优点

  • 仅仅需要以方差衡量信息量,不受数据集以外的因素影响。
  • 各主成分之间正交,可消除原始数据成分间的相互影响的因素。
  • 计算方法简单,主要运算是特征值分解,易于实现。

缺点

  • 主成分各个特征维度的含义具有一定的模糊性,不如原始样本特征的解释性强。
  • 方差小的非主成分也可能含有对样本差异的重要信息,降维丢弃的数据可能对后续数据处理有影响。

五、算法实现

自定义实现

import numpy as np


# 对初始数据进行零均值化处理
def zeroMean(dataMat):
    # 求列均值
    meanVal = np.mean(dataMat, axis=0)
    # 求列差值
    newData = dataMat - meanVal
    return newData, meanVal


# 对初始数据进行降维处理
def pca(dataMat, percent=0.19):
    newData, meanVal = zeroMean(dataMat)

    # 求协方差矩阵
    covMat = np.cov(newData, rowvar=0)

    # 求特征值和特征向量
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))

    # 抽取前n个特征向量
    n = percentage2n(eigVals, percent)
    print("数据降低到:" + str(n) + '维')

    # 将特征值按从小到大排序
    eigValIndice = np.argsort(eigVals)
    # 取最大的n个特征值的下标
    n_eigValIndice = eigValIndice[-1:-(n + 1):-1]
    # 取最大的n个特征值的特征向量
    n_eigVect = eigVects[:, n_eigValIndice]

    # 取得降低到n维的数据
    lowDataMat = newData * n_eigVect
    reconMat = (lowDataMat * n_eigVect.T) + meanVal

    return reconMat, lowDataMat, n


# 通过方差百分比确定抽取的特征向量的个数
def percentage2n(eigVals, percentage):
    # 按降序排序
    sortArray = np.sort(eigVals)[-1::-1]
    # 求和
    arraySum = sum(sortArray)

    tempSum = 0
    num = 0
    for i in sortArray:
        tempSum += i
        num += 1
        if tempSum >= arraySum * percentage:
            return num


if __name__ == '__main__':
    # 初始化原始数据(行代表样本,列代表维度)
    data = np.random.randint(1, 20, size=(6, 8))
    print(data)

    # 对数据降维处理
    fin = pca(data, 0.9)
    mat = fin[1]
    print(mat)

利用Sklearn库实现

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# 加载数据
data = load_iris()
x = data.data
y = data.target

# 设置数据集要降低的维度
pca = PCA(n_components=2)
# 进行数据降维
reduced_x = pca.fit_transform(x)

red_x, red_y = [], []
green_x, green_y = [], []
blue_x, blue_y = [], []

# 对数据集进行分类
for i in range(len(reduced_x)):
    if y[i] == 0:
        red_x.append(reduced_x[i][0])
        red_y.append(reduced_x[i][1])
    elif y[i] == 1:
        green_x.append(reduced_x[i][0])
        green_y.append(reduced_x[i][1])
    else:
        blue_x.append(reduced_x[i][0])
        blue_y.append(reduced_x[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(green_x, green_y, c='g', marker='D')
plt.scatter(blue_x, blue_y, c='b', marker='.')
plt.show()

六、算法优化

PCA是一种线性特征提取算法,通过计算将一组特征按重要性从小到大重新排列得到一组互不相关的新特征,但该算法在构造子集的过程中采用等权重的方式,忽略了不同属性对分类的贡献是不同的。

  • KPCA算法

KPCA是一种改进的PCA非线性降维算法,它利用核函数的思想,把样本数据进行非线性变换,然后在变换空间进行PCA,这样就实现了非线性PCA。

  • 局部PCA算法

局部PCA是一种改进的PCA局部降维算法,它在寻找主成分时加入一项具有局部光滑性的正则项,从而使主成分保留更多的局部性信息。

到此这篇关于Python机器学习之PCA降维算法详解的文章就介绍到这了,更多相关Python PCA降维算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python bsddb模块操作Berkeley DB数据库介绍
Apr 08 Python
简介Django框架中可使用的各类缓存
Jul 23 Python
Django实战之用户认证(初始配置)
Jul 16 Python
python正则表达式匹配[]中间为任意字符的实例
Dec 25 Python
Python txt文件加入字典并查询的方法
Jan 15 Python
500行Python代码打造刷脸考勤系统
Jun 03 Python
Django models.py应用实现过程详解
Jul 29 Python
tensorboard实现同时显示训练曲线和测试曲线
Jan 21 Python
解决springboot yml配置 logging.level 报错问题
Feb 21 Python
Python如何使用paramiko模块连接linux
Mar 18 Python
Keras中 ImageDataGenerator函数的参数用法
Jul 03 Python
深入了解Python 变量作用域
Jul 24 Python
Python 批量下载阴阳师网站壁纸
May 19 #Python
python 如何将两个实数矩阵合并为一个复数矩阵
May 19 #Python
python使用pywinauto驱动微信客户端实现公众号爬虫
python基于tkinter实现gif录屏功能
Python 读写 Matlab Mat 格式数据的操作
May 19 #Python
python3 hdf5文件 遍历代码
May 19 #Python
Python基础之元组与文件知识总结
You might like
全国FM电台频率大全 - 15 山东省
2020/03/11 无线电
php2html php生成静态页函数
2008/12/08 PHP
php中使用url传递数组的方法
2015/02/11 PHP
PHP中的魔术方法总结和使用实例
2015/05/11 PHP
php+lottery.js实现九宫格抽奖功能
2019/07/21 PHP
使用jQuery简化Ajax开发 Ajax开发入门
2009/10/14 Javascript
基于jsTree的无限级树JSON数据的转换代码
2010/07/27 Javascript
jquery.validate分组验证代码
2011/03/17 Javascript
JQuery拖拽元素改变大小尺寸实现代码
2012/12/10 Javascript
js作用域及作用域链概念理解及使用
2013/04/15 Javascript
jquery控制左右箭头滚动图片列表的实例
2013/05/20 Javascript
js中arguments,caller,callee,apply的用法小结
2014/01/28 Javascript
dreamweaver 8实现Jquery自动提示
2014/12/04 Javascript
react router 4.0以上的路由应用详解
2017/09/21 Javascript
webpack 静态资源集中输出的方法示例
2018/11/09 Javascript
简单实现vue中的依赖收集与响应的方法
2019/02/18 Javascript
JS实现商品橱窗特效
2020/01/09 Javascript
JS事件循环机制event loop宏任务微任务原理解析
2020/08/04 Javascript
javascript实现简单留言板案例
2021/02/09 Javascript
python遍历类中所有成员的方法
2015/03/18 Python
python如何实现一个刷网页小程序
2018/11/27 Python
如何使用pyinstaller打包32位的exe程序
2019/05/26 Python
python实现WebSocket服务端过程解析
2019/10/18 Python
Python如何使用正则表达式爬取京东商品信息
2020/06/01 Python
美国东北部户外服装和设备零售商:Eastern Mountain Sports
2016/10/05 全球购物
地理科学专业毕业生求职信
2013/10/15 职场文书
人力资源管理专业学生自我评价
2013/11/20 职场文书
趣味游戏活动方案
2014/02/07 职场文书
走群众路线学习心得体会
2014/10/31 职场文书
2014年标准化工作总结
2014/12/17 职场文书
行政诉讼答辩状
2015/05/21 职场文书
民事答辩状范本
2015/05/21 职场文书
2016小学教师读书心得体会
2016/01/13 职场文书
mybatis中注解与xml配置的对应关系和对比分析
2021/08/04 Java/Android
MySQL修炼之联结与集合浅析
2021/10/05 MySQL
Redis超详细讲解高可用主从复制基础与哨兵模式方案
2022/04/07 Redis