python实现PCA降维的示例详解


Posted in Python onFebruary 24, 2020

概述

本文主要介绍一种降维方法,PCA(Principal Component Analysis,主成分分析)。降维致力于解决三类问题。

1. 降维可以缓解维度灾难问题;

2. 降维可以在压缩数据的同时让信息损失最小化;

3. 理解几百个维度的数据结构很困难,两三个维度的数据通过可视化更容易理解。

PCA简介

在理解特征提取与处理时,涉及高维特征向量的问题往往容易陷入维度灾难。随着数据集维度的增加,算法学习需要的样本数量呈指数级增加。有些应用中,遇到这样的大数据是非常不利的,而且从大数据集中学习需要更多的内存和处理能力。另外,随着维度的增加,数据的稀疏性会越来越高。在高维向量空间中探索同样的数据集比在同样稀疏的数据集中探索更加困难。

主成分分析也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform),是一种用于探索高维数据结构的技术。PCA通常用于高维数据集的探索与可视化。还可以用于数据压缩,数据预处理等。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量,称为主成分( principal components)。新的低维数据集会尽可能的保留原始数据的变量。

PCA将数据投射到一个低维子空间实现降维。例如,二维数据集降维就是把点投射成一条线,数据集的每个样本都可以用一个值表示,不需要两个值。三维数据集可以降成二维,就是把变量映射成一个平面。一般情况下,nn维数据集可以通过映射降成kk维子空间,其中k≤nk≤n。

假如你是一本养花工具宣传册的摄影师,你正在拍摄一个水壶。水壶是三维的,但是照片是二维的,为了更全面的把水壶展示给客户,你需要从不同角度拍几张图片。下图是你从四个方向拍的照片:

python实现PCA降维的示例详解

第一张图里水壶的背面可以看到,但是看不到前面。第二张图是拍前面,可以看到壶嘴,这张图可以提供了第一张图缺失的信息,但是壶把看不到了。从第三张俯视图里无法看出壶的高度。第四张图是你真正想要的,水壶的高度,顶部,壶嘴和壶把都清晰可见。

PCA的设计理念与此类似,它可以将高维数据集映射到低维空间的同时,尽可能的保留更多变量。PCA旋转数据集与其主成分对齐,将最多的变量保留到第一主成分中。假设我们有下图所示的数据集:

python实现PCA降维的示例详解

数据集看起来像一个从原点到右上角延伸的细长扁平的椭圆。要降低整个数据集的维度,我们必须把点映射成一条线。下图中的两条线都是数据集可以映射的,映射到哪条线样本变化最大?

python实现PCA降维的示例详解

显然,样本映射到黑色虚线的变化比映射到红色点线的变化要大的多。实际上,这条黑色虚线就是第一主成分。第二主成分必须与第一主成分正交,也就是说第二主成分必须是在统计学上独立的,会出现在与第一主成分垂直的方向,如下图所示:

python实现PCA降维的示例详解

后面的每个主成分也会尽量多的保留剩下的变量,唯一的要求就是每一个主成分需要和前面的主成分正交。

现在假设数据集是三维的,散点图看起来像是沿着一个轴旋转的圆盘。

python实现PCA降维的示例详解

这些点可以通过旋转和变换使圆盘完全变成二维的。现在这些点看着像一个椭圆,第三维上基本没有变量,可以被忽略。

当数据集不同维度上的方差分布不均匀的时候,PCA最有用。(如果是一个球壳形数据集,PCA不能有效的发挥作用,因为各个方向上的方差都相等;没有丢失大量的信息维度一个都不能忽略)。

python实现PCA降维代码

# coding=utf-8
from sklearn.decomposition import PCA 
from pandas.core.frame import DataFrame
import pandas as pd 
import numpy as np 
l=[]
with open('test.csv','r') as fd:
 
  line= fd.readline()
  while line:
    if line =="":
      continue
 
    line = line.strip()
    word = line.split(",")
    l.append(word)
    line= fd.readline()
 
data_l=DataFrame(l)
print (data_l)
dataMat = np.array(data_l) 
 
 
pca_sk = PCA(n_components=2) 
newMat = pca_sk.fit_transform(dataMat) 
 
 
data1 = DataFrame(newMat)
data1.to_csv('test_PCA.csv',index=False,header=False)

以上这篇python实现PCA降维的示例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
简单介绍Python中的readline()方法的使用
May 24 Python
CentOS6.5设置Django开发环境
Oct 13 Python
python数据处理实战(必看篇)
Jun 11 Python
利用Python如何将数据写到CSV文件中
Jun 05 Python
基于python生成器封装的协程类
Mar 20 Python
pytorch点乘与叉乘示例讲解
Dec 27 Python
python调用私有属性的方法总结
Jul 24 Python
Python中pass的作用与使用教程
Nov 13 Python
python爬取抖音视频的实例分析
Jan 19 Python
python中requests库+xpath+lxml简单使用
Apr 29 Python
Python 批量下载阴阳师网站壁纸
May 19 Python
python脚本框架webpy模板赋值实现
Nov 20 Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
Feb 24 #Python
python 线性回归分析模型检验标准--拟合优度详解
Feb 24 #Python
最小二乘法及其python实现详解
Feb 24 #Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
You might like
基于PHP静态类的原罪详解
2013/05/06 PHP
php注册登录系统简化版
2020/12/28 PHP
浅谈ThinkPHP5.0版本和ThinkPHP3.2版本的区别
2017/06/17 PHP
javascript window对象属性整理
2009/10/24 Javascript
jquery实现的省市区三级联动
2015/04/02 Javascript
javascript代码调试之console.log 用法图文详解
2016/09/30 Javascript
基于Javascript实现文件实时加载进度的方法
2016/10/12 Javascript
javascript实现消灭星星小游戏简单版
2016/11/15 Javascript
Node.js用readline模块实现输入输出
2016/12/16 Javascript
bootstrap按钮插件(Button)使用方法解析
2017/01/13 Javascript
Vue2.5通过json文件读取数据的方法
2018/02/27 Javascript
vue axios 给生产环境和发布环境配置不同的接口地址(推荐)
2018/05/08 Javascript
什么时候不能在 Node.js 中使用 Lock Files
2019/06/24 Javascript
JS中的算法与数据结构之列表(List)实例详解
2019/08/16 Javascript
微信小程序通过js实现瀑布流布局详解
2019/08/28 Javascript
如何解决vue在ios微信"复制链接"功能问题
2020/03/26 Javascript
JavaScript常用工具函数大全
2020/05/06 Javascript
windows下安装python paramiko模块的代码
2013/02/10 Python
Python中用startswith()函数判断字符串开头的教程
2015/04/07 Python
详解Python中find()方法的使用
2015/05/18 Python
Python的Django框架中从url中捕捉文本的方法
2015/07/20 Python
python机器学习实战之最近邻kNN分类器
2017/12/20 Python
将tensorflow的ckpt模型存储为npy的实例
2018/07/09 Python
python django model联合主键的例子
2019/08/06 Python
python命名空间(namespace)简单介绍
2019/08/10 Python
学python安装的软件总结
2019/10/12 Python
pytorch 实现将自己的图片数据处理成可以训练的图片类型
2020/01/08 Python
如何使用 Python 读取文件和照片的创建日期
2020/09/05 Python
基于python爬取链家二手房信息代码示例
2020/10/21 Python
css3弹性盒子flex实现三栏布局的实现
2020/11/12 HTML / CSS
应用艺术毕业生的自我评价
2013/12/04 职场文书
婚内分居协议书范文
2014/11/26 职场文书
2014年班组建设工作总结
2014/12/01 职场文书
2015年物资管理工作总结
2015/05/20 职场文书
2016母亲节感恩话语
2015/12/09 职场文书
JS封装cavans多种滤镜组件
2022/02/15 Javascript