Python机器学习之PCA降维算法详解


Posted in Python onMay 19, 2021

一、算法概述

  • 主成分分析 (Principal ComponentAnalysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。
  • PCA 是最常用的一种降维方法,它的目标是通过某种线性投影,将高维的数据映射到低维的空间中,并期望在所投影的维度上数据的方差最大,以此使用较少的维度,同时保留较多原数据的维度。
  • PCA 算法目标是求出样本数据协方差矩阵的特征值和特征向量,而协方差矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后,能尽可能表征原始的数据。
  • PCA 可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能的保留原始数据的信息。
  • PCA 通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理等。

二、算法步骤

Python机器学习之PCA降维算法详解

1.将原始数据按行组成m行n列的矩阵X

2.将X的每一列(代表一个属性字段)进行零均值化,即减去这一列的均值

3.求出协方差矩阵

4.求出协方差矩阵的特征值及对应的特征向量r

5.将特征向量按对应特征值大小从左到右按列排列成矩阵,取前k列组成矩阵P

6.计算降维到k维的数据

三、相关概念

  • 方差:描述一个数据的离散程度

Python机器学习之PCA降维算法详解

  • 协方差:描述两个数据的相关性,接近1就是正相关,接近-1就是负相关,接近0就是不相关

Python机器学习之PCA降维算法详解

  • 协方差矩阵:协方差矩阵是一个对称的矩阵,而且对角线是各个维度的方差

Python机器学习之PCA降维算法详解

  • 特征值:用于选取降维的K个特征值
  • 特征向量:用于选取降维的K个特征向量

四、算法优缺点

优点

  • 仅仅需要以方差衡量信息量,不受数据集以外的因素影响。
  • 各主成分之间正交,可消除原始数据成分间的相互影响的因素。
  • 计算方法简单,主要运算是特征值分解,易于实现。

缺点

  • 主成分各个特征维度的含义具有一定的模糊性,不如原始样本特征的解释性强。
  • 方差小的非主成分也可能含有对样本差异的重要信息,降维丢弃的数据可能对后续数据处理有影响。

五、算法实现

自定义实现

import numpy as np


# 对初始数据进行零均值化处理
def zeroMean(dataMat):
    # 求列均值
    meanVal = np.mean(dataMat, axis=0)
    # 求列差值
    newData = dataMat - meanVal
    return newData, meanVal


# 对初始数据进行降维处理
def pca(dataMat, percent=0.19):
    newData, meanVal = zeroMean(dataMat)

    # 求协方差矩阵
    covMat = np.cov(newData, rowvar=0)

    # 求特征值和特征向量
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))

    # 抽取前n个特征向量
    n = percentage2n(eigVals, percent)
    print("数据降低到:" + str(n) + '维')

    # 将特征值按从小到大排序
    eigValIndice = np.argsort(eigVals)
    # 取最大的n个特征值的下标
    n_eigValIndice = eigValIndice[-1:-(n + 1):-1]
    # 取最大的n个特征值的特征向量
    n_eigVect = eigVects[:, n_eigValIndice]

    # 取得降低到n维的数据
    lowDataMat = newData * n_eigVect
    reconMat = (lowDataMat * n_eigVect.T) + meanVal

    return reconMat, lowDataMat, n


# 通过方差百分比确定抽取的特征向量的个数
def percentage2n(eigVals, percentage):
    # 按降序排序
    sortArray = np.sort(eigVals)[-1::-1]
    # 求和
    arraySum = sum(sortArray)

    tempSum = 0
    num = 0
    for i in sortArray:
        tempSum += i
        num += 1
        if tempSum >= arraySum * percentage:
            return num


if __name__ == '__main__':
    # 初始化原始数据(行代表样本,列代表维度)
    data = np.random.randint(1, 20, size=(6, 8))
    print(data)

    # 对数据降维处理
    fin = pca(data, 0.9)
    mat = fin[1]
    print(mat)

利用Sklearn库实现

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# 加载数据
data = load_iris()
x = data.data
y = data.target

# 设置数据集要降低的维度
pca = PCA(n_components=2)
# 进行数据降维
reduced_x = pca.fit_transform(x)

red_x, red_y = [], []
green_x, green_y = [], []
blue_x, blue_y = [], []

# 对数据集进行分类
for i in range(len(reduced_x)):
    if y[i] == 0:
        red_x.append(reduced_x[i][0])
        red_y.append(reduced_x[i][1])
    elif y[i] == 1:
        green_x.append(reduced_x[i][0])
        green_y.append(reduced_x[i][1])
    else:
        blue_x.append(reduced_x[i][0])
        blue_y.append(reduced_x[i][1])

plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(green_x, green_y, c='g', marker='D')
plt.scatter(blue_x, blue_y, c='b', marker='.')
plt.show()

六、算法优化

PCA是一种线性特征提取算法,通过计算将一组特征按重要性从小到大重新排列得到一组互不相关的新特征,但该算法在构造子集的过程中采用等权重的方式,忽略了不同属性对分类的贡献是不同的。

  • KPCA算法

KPCA是一种改进的PCA非线性降维算法,它利用核函数的思想,把样本数据进行非线性变换,然后在变换空间进行PCA,这样就实现了非线性PCA。

  • 局部PCA算法

局部PCA是一种改进的PCA局部降维算法,它在寻找主成分时加入一项具有局部光滑性的正则项,从而使主成分保留更多的局部性信息。

到此这篇关于Python机器学习之PCA降维算法详解的文章就介绍到这了,更多相关Python PCA降维算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现上传下载文件功能
Nov 19 Python
Python3实现获取图片文字里中文的方法分析
Dec 13 Python
python模糊图片过滤的方法
Dec 14 Python
Python实现的序列化和反序列化二叉树算法示例
Mar 02 Python
关于不懂Chromedriver如何配置环境变量问题解决方法
Jun 12 Python
简单了解django orm中介模型
Jul 30 Python
Python字符串中添加、插入特定字符的方法
Sep 10 Python
python 函数嵌套及多函数共同运行知识点讲解
Mar 03 Python
Python接口自动化测试框架运行原理及流程
Nov 30 Python
详解python中的异常和文件读写
Jan 03 Python
python实现调用摄像头并拍照发邮箱
Apr 27 Python
Python机器学习实战之k-近邻算法的实现
Nov 27 Python
Python 批量下载阴阳师网站壁纸
May 19 #Python
python 如何将两个实数矩阵合并为一个复数矩阵
May 19 #Python
python使用pywinauto驱动微信客户端实现公众号爬虫
python基于tkinter实现gif录屏功能
Python 读写 Matlab Mat 格式数据的操作
May 19 #Python
python3 hdf5文件 遍历代码
May 19 #Python
Python基础之元组与文件知识总结
You might like
Get或Post提交值的非法数据处理
2006/10/09 PHP
社区(php&&mysql)五
2006/10/09 PHP
浅析application/x-www-form-urlencoded和multipart/form-data的区别
2014/06/22 PHP
PHP使用SMTP邮件服务器发送邮件示例
2018/08/28 PHP
做网页的一些技巧
2007/02/01 Javascript
用jscript启动sqlserver
2007/06/21 Javascript
jquery实现表格奇数偶数行不同样式(有图为证及实现代码)
2013/01/23 Javascript
javascript获取网页中指定节点的父节点、子节点的方法小结
2013/04/24 Javascript
IE中的File域无法清空使用jQuery重设File域
2014/04/24 Javascript
javascript判断网页是关闭还是刷新
2015/09/12 Javascript
vue多页面开发和打包正确处理方法
2018/04/20 Javascript
微信小程序功能之全屏滚动效果的实现代码
2018/11/22 Javascript
在react-antd中弹出层form内容传递给父组件的操作
2020/10/24 Javascript
JavaScript实现网页计算器功能
2020/10/29 Javascript
详解vue中使用transition和animation的实例代码
2020/12/12 Vue.js
python中关于日期时间处理的问答集锦
2013/03/08 Python
Python实现批量把SVG格式转成png、pdf格式的代码分享
2014/08/21 Python
python计算一个序列的平均值的方法
2015/07/11 Python
简单讲解Python中的闭包
2015/08/11 Python
在Ubuntu系统下安装使用Python的GUI工具wxPython
2016/02/18 Python
Python lambda函数基本用法实例分析
2018/03/16 Python
python 利用栈和队列模拟递归的过程
2018/05/29 Python
Win8下python3.5.1安装教程
2020/07/29 Python
解决pycharm每次新建项目都要重新安装一些第三方库的问题
2019/01/17 Python
python plt可视化——打印特殊符号和制作图例代码
2020/04/17 Python
python怎么判断模块安装完成
2020/06/19 Python
python批量检查两个对应的txt文件的行数是否一致的实例代码
2020/10/31 Python
伦敦一卡通:The London Pass
2018/11/30 全球购物
彪马俄罗斯官网:PUMA俄罗斯
2019/07/13 全球购物
2014年度党员自我评议
2014/09/13 职场文书
财政局党的群众路线教育实践活动剖析材料
2014/10/13 职场文书
《狼牙山五壮士》教学反思
2016/02/17 职场文书
《巨人的花园》教学反思
2016/02/19 职场文书
导游词之西江千户苗寨
2019/12/24 职场文书
Ajax是什么?Ajax高级用法之Axios技术
2021/04/21 Javascript
分享Python获取本机IP地址的几种方法
2022/03/17 Python