python实现PCA降维的示例详解


Posted in Python onFebruary 24, 2020

概述

本文主要介绍一种降维方法,PCA(Principal Component Analysis,主成分分析)。降维致力于解决三类问题。

1. 降维可以缓解维度灾难问题;

2. 降维可以在压缩数据的同时让信息损失最小化;

3. 理解几百个维度的数据结构很困难,两三个维度的数据通过可视化更容易理解。

PCA简介

在理解特征提取与处理时,涉及高维特征向量的问题往往容易陷入维度灾难。随着数据集维度的增加,算法学习需要的样本数量呈指数级增加。有些应用中,遇到这样的大数据是非常不利的,而且从大数据集中学习需要更多的内存和处理能力。另外,随着维度的增加,数据的稀疏性会越来越高。在高维向量空间中探索同样的数据集比在同样稀疏的数据集中探索更加困难。

主成分分析也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform),是一种用于探索高维数据结构的技术。PCA通常用于高维数据集的探索与可视化。还可以用于数据压缩,数据预处理等。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量,称为主成分( principal components)。新的低维数据集会尽可能的保留原始数据的变量。

PCA将数据投射到一个低维子空间实现降维。例如,二维数据集降维就是把点投射成一条线,数据集的每个样本都可以用一个值表示,不需要两个值。三维数据集可以降成二维,就是把变量映射成一个平面。一般情况下,nn维数据集可以通过映射降成kk维子空间,其中k≤nk≤n。

假如你是一本养花工具宣传册的摄影师,你正在拍摄一个水壶。水壶是三维的,但是照片是二维的,为了更全面的把水壶展示给客户,你需要从不同角度拍几张图片。下图是你从四个方向拍的照片:

python实现PCA降维的示例详解

第一张图里水壶的背面可以看到,但是看不到前面。第二张图是拍前面,可以看到壶嘴,这张图可以提供了第一张图缺失的信息,但是壶把看不到了。从第三张俯视图里无法看出壶的高度。第四张图是你真正想要的,水壶的高度,顶部,壶嘴和壶把都清晰可见。

PCA的设计理念与此类似,它可以将高维数据集映射到低维空间的同时,尽可能的保留更多变量。PCA旋转数据集与其主成分对齐,将最多的变量保留到第一主成分中。假设我们有下图所示的数据集:

python实现PCA降维的示例详解

数据集看起来像一个从原点到右上角延伸的细长扁平的椭圆。要降低整个数据集的维度,我们必须把点映射成一条线。下图中的两条线都是数据集可以映射的,映射到哪条线样本变化最大?

python实现PCA降维的示例详解

显然,样本映射到黑色虚线的变化比映射到红色点线的变化要大的多。实际上,这条黑色虚线就是第一主成分。第二主成分必须与第一主成分正交,也就是说第二主成分必须是在统计学上独立的,会出现在与第一主成分垂直的方向,如下图所示:

python实现PCA降维的示例详解

后面的每个主成分也会尽量多的保留剩下的变量,唯一的要求就是每一个主成分需要和前面的主成分正交。

现在假设数据集是三维的,散点图看起来像是沿着一个轴旋转的圆盘。

python实现PCA降维的示例详解

这些点可以通过旋转和变换使圆盘完全变成二维的。现在这些点看着像一个椭圆,第三维上基本没有变量,可以被忽略。

当数据集不同维度上的方差分布不均匀的时候,PCA最有用。(如果是一个球壳形数据集,PCA不能有效的发挥作用,因为各个方向上的方差都相等;没有丢失大量的信息维度一个都不能忽略)。

python实现PCA降维代码

# coding=utf-8
from sklearn.decomposition import PCA 
from pandas.core.frame import DataFrame
import pandas as pd 
import numpy as np 
l=[]
with open('test.csv','r') as fd:
 
  line= fd.readline()
  while line:
    if line =="":
      continue
 
    line = line.strip()
    word = line.split(",")
    l.append(word)
    line= fd.readline()
 
data_l=DataFrame(l)
print (data_l)
dataMat = np.array(data_l) 
 
 
pca_sk = PCA(n_components=2) 
newMat = pca_sk.fit_transform(dataMat) 
 
 
data1 = DataFrame(newMat)
data1.to_csv('test_PCA.csv',index=False,header=False)

以上这篇python实现PCA降维的示例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中关于时间和日期函数的常用计算总结(time和datatime)
Mar 08 Python
python中requests模块的使用方法
Apr 08 Python
Python正则表达式经典入门教程
May 22 Python
django缓存配置的几种方法详解
Jul 16 Python
详解Python中的各种转义符\n\r\t
Jul 10 Python
python实现两个一维列表合并成一个二维列表
Dec 02 Python
pytorch的batch normalize使用详解
Jan 15 Python
python dumps和loads区别详解
Feb 04 Python
基于python检查SSL证书到期情况代码实例
Apr 04 Python
JAVA及PYTHON质数计算代码对比解析
Jun 10 Python
Python txt文件常用读写操作代码实例
Aug 03 Python
详解python os.path.exists判断文件或文件夹是否存在
Nov 16 Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
Feb 24 #Python
python 线性回归分析模型检验标准--拟合优度详解
Feb 24 #Python
最小二乘法及其python实现详解
Feb 24 #Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
You might like
php定时删除文件夹下文件(清理缓存文件)
2013/01/23 PHP
php 表单提交大量数据发生丢失的解决方法
2014/03/03 PHP
PHP处理大量表单字段的便捷方法
2015/02/07 PHP
PHP filter_var() 函数, 验证判断EMAIL,URL等
2021/03/09 PHP
ExtJs事件机制基本代码模型和流程解析
2010/10/24 Javascript
JS中的public和private对象,即static修饰符
2012/01/18 Javascript
js实现单一html页面两套css切换代码
2013/04/11 Javascript
script不刷新页面的联动前后代码
2013/09/18 Javascript
jquery获取css中的选择器(实例讲解)
2013/12/02 Javascript
javascript的函数作用域
2014/11/12 Javascript
jQuery中end()方法用法实例
2015/01/08 Javascript
js实现文本框支持加减运算的方法
2015/08/19 Javascript
浅谈js中startsWith 函数不能在任何浏览器兼容的问题
2017/03/01 Javascript
在vue-cli脚手架中配置一个vue-router前端路由
2017/07/03 Javascript
nodejs基于WS模块实现WebSocket聊天功能的方法
2018/01/12 NodeJs
微信小程序异步API为Promise简化异步编程的操作方法
2018/08/14 Javascript
Vue.js 实现数据展示全部和收起功能
2018/09/05 Javascript
如何给element添加一个抽屉组件的方法步骤
2019/07/14 Javascript
弱类型语言javascript中 a,b 的运算实例小结
2019/08/07 Javascript
关于vue利用postcss-pxtorem进行移动端适配的问题
2019/11/20 Javascript
[44:43]完美世界DOTA2联赛决赛日 FTD vs GXR 第一场 11.08
2020/11/11 DOTA
python开启多个子进程并行运行的方法
2015/04/18 Python
简述Python中的进程、线程、协程
2016/03/18 Python
python+mongodb数据抓取详细介绍
2017/10/25 Python
详解Python进阶之切片的误区与高级用法
2018/12/24 Python
中科创达面试题
2016/12/28 面试题
用人单位终止解除劳动合同证明书
2014/10/06 职场文书
政风行风整改方案
2014/10/25 职场文书
大一新生检讨书
2014/10/29 职场文书
酒店人事主管岗位职责
2015/04/11 职场文书
员工手册编写范本
2015/05/14 职场文书
大学生就业指导课心得体会
2016/01/15 职场文书
Python数据分析之pandas函数详解
2021/04/21 Python
pytorch 如何使用amp进行混合精度训练
2021/05/24 Python
python爬取某网站原图作为壁纸
2021/06/02 Python
windows11怎么查看wifi密码? win11查看wifi密码的技巧
2021/11/21 数码科技