python实现PCA降维的示例详解


Posted in Python onFebruary 24, 2020

概述

本文主要介绍一种降维方法,PCA(Principal Component Analysis,主成分分析)。降维致力于解决三类问题。

1. 降维可以缓解维度灾难问题;

2. 降维可以在压缩数据的同时让信息损失最小化;

3. 理解几百个维度的数据结构很困难,两三个维度的数据通过可视化更容易理解。

PCA简介

在理解特征提取与处理时,涉及高维特征向量的问题往往容易陷入维度灾难。随着数据集维度的增加,算法学习需要的样本数量呈指数级增加。有些应用中,遇到这样的大数据是非常不利的,而且从大数据集中学习需要更多的内存和处理能力。另外,随着维度的增加,数据的稀疏性会越来越高。在高维向量空间中探索同样的数据集比在同样稀疏的数据集中探索更加困难。

主成分分析也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform),是一种用于探索高维数据结构的技术。PCA通常用于高维数据集的探索与可视化。还可以用于数据压缩,数据预处理等。PCA可以把可能具有相关性的高维变量合成线性无关的低维变量,称为主成分( principal components)。新的低维数据集会尽可能的保留原始数据的变量。

PCA将数据投射到一个低维子空间实现降维。例如,二维数据集降维就是把点投射成一条线,数据集的每个样本都可以用一个值表示,不需要两个值。三维数据集可以降成二维,就是把变量映射成一个平面。一般情况下,nn维数据集可以通过映射降成kk维子空间,其中k≤nk≤n。

假如你是一本养花工具宣传册的摄影师,你正在拍摄一个水壶。水壶是三维的,但是照片是二维的,为了更全面的把水壶展示给客户,你需要从不同角度拍几张图片。下图是你从四个方向拍的照片:

python实现PCA降维的示例详解

第一张图里水壶的背面可以看到,但是看不到前面。第二张图是拍前面,可以看到壶嘴,这张图可以提供了第一张图缺失的信息,但是壶把看不到了。从第三张俯视图里无法看出壶的高度。第四张图是你真正想要的,水壶的高度,顶部,壶嘴和壶把都清晰可见。

PCA的设计理念与此类似,它可以将高维数据集映射到低维空间的同时,尽可能的保留更多变量。PCA旋转数据集与其主成分对齐,将最多的变量保留到第一主成分中。假设我们有下图所示的数据集:

python实现PCA降维的示例详解

数据集看起来像一个从原点到右上角延伸的细长扁平的椭圆。要降低整个数据集的维度,我们必须把点映射成一条线。下图中的两条线都是数据集可以映射的,映射到哪条线样本变化最大?

python实现PCA降维的示例详解

显然,样本映射到黑色虚线的变化比映射到红色点线的变化要大的多。实际上,这条黑色虚线就是第一主成分。第二主成分必须与第一主成分正交,也就是说第二主成分必须是在统计学上独立的,会出现在与第一主成分垂直的方向,如下图所示:

python实现PCA降维的示例详解

后面的每个主成分也会尽量多的保留剩下的变量,唯一的要求就是每一个主成分需要和前面的主成分正交。

现在假设数据集是三维的,散点图看起来像是沿着一个轴旋转的圆盘。

python实现PCA降维的示例详解

这些点可以通过旋转和变换使圆盘完全变成二维的。现在这些点看着像一个椭圆,第三维上基本没有变量,可以被忽略。

当数据集不同维度上的方差分布不均匀的时候,PCA最有用。(如果是一个球壳形数据集,PCA不能有效的发挥作用,因为各个方向上的方差都相等;没有丢失大量的信息维度一个都不能忽略)。

python实现PCA降维代码

# coding=utf-8
from sklearn.decomposition import PCA 
from pandas.core.frame import DataFrame
import pandas as pd 
import numpy as np 
l=[]
with open('test.csv','r') as fd:
 
  line= fd.readline()
  while line:
    if line =="":
      continue
 
    line = line.strip()
    word = line.split(",")
    l.append(word)
    line= fd.readline()
 
data_l=DataFrame(l)
print (data_l)
dataMat = np.array(data_l) 
 
 
pca_sk = PCA(n_components=2) 
newMat = pca_sk.fit_transform(dataMat) 
 
 
data1 = DataFrame(newMat)
data1.to_csv('test_PCA.csv',index=False,header=False)

以上这篇python实现PCA降维的示例详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
介绍Python中内置的itertools模块
Apr 29 Python
python虚拟环境virualenv的安装与使用
Dec 18 Python
Python 字符串操作(string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等)
Mar 19 Python
python实现微信自动回复功能
Apr 11 Python
Python学习小技巧总结
Jun 10 Python
python使用Matplotlib绘制分段函数
Sep 25 Python
python输入整条数据分割存入数组的方法
Nov 13 Python
python使用PyQt5的简单方法
Feb 27 Python
对Python的交互模式和直接运行.py文件的区别详解
Jun 29 Python
详解Anconda环境下载python包的教程(图形界面+命令行+pycharm安装)
Nov 11 Python
深入浅析pycharm中 Make available to all projects的含义
Sep 15 Python
如何在Anaconda中打开python自带idle
Sep 21 Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
Feb 24 #Python
python 线性回归分析模型检验标准--拟合优度详解
Feb 24 #Python
最小二乘法及其python实现详解
Feb 24 #Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
You might like
解析curl提交GET,POST,Cookie的简单方法
2013/06/29 PHP
如何使用PHP获取指定日期所在月的开始日期与结束日期
2013/08/01 PHP
PHP制作百度词典查词采集器
2015/01/29 PHP
ThinkPHP安装和设置
2015/07/27 PHP
php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法
2015/11/30 PHP
Yii数据读取与跳转参数传递用法实例分析
2016/07/12 PHP
PHP编程快速实现数组去重的方法详解
2017/07/22 PHP
php记录搜索引擎爬行记录的实现代码
2018/03/02 PHP
Yii2处理密码加密及验证的方法
2019/05/12 PHP
Javascript 跨域访问解决方案
2009/02/14 Javascript
jQuery 顺便学习下CSS选择器 奇偶匹配nth-child(even)
2010/05/24 Javascript
对于this和$(this)的个人理解
2013/09/08 Javascript
Laravel中常见的错误与解决方法小结
2016/08/30 Javascript
微信小程序 rpx 尺寸单位详细介绍
2016/10/13 Javascript
vue实现留言板todolist功能
2017/08/16 Javascript
javascript将非数值转换为数值
2018/09/13 Javascript
在微信小程序中使用vant的方法
2019/06/07 Javascript
微信小程序中悬浮窗功能的实现代码
2019/08/02 Javascript
微信小程序实现页面浮动导航
2020/01/08 Javascript
linux下安装easy_install的方法
2013/02/10 Python
tensorflow学习笔记之简单的神经网络训练和测试
2018/04/15 Python
python 获取当天凌晨零点的时间戳方法
2018/05/22 Python
Python面向对象基础入门之设置对象属性
2018/12/11 Python
Python3爬虫带上cookie的实例代码
2020/07/28 Python
CSS3地图动态实例代码(圆圈向外扩散)
2018/06/15 HTML / CSS
Clearly澳大利亚:购买眼镜、太阳镜和隐形眼镜
2018/04/26 全球购物
水上运动奥特莱斯:Wasterports Outlet
2018/08/08 全球购物
Pretty Little Thing美国:时尚女性服饰
2018/08/27 全球购物
面向对象设计的原则是什么
2013/02/13 面试题
国税会议欢迎词
2014/01/16 职场文书
诉讼财产保全担保书
2014/05/20 职场文书
新学期开学演讲稿
2014/05/24 职场文书
2014年优质护理服务工作总结
2014/11/14 职场文书
大学生逃课检讨书
2015/05/04 职场文书
2016年万圣节活动个人总结
2016/04/05 职场文书
Python time库的时间时钟处理
2021/05/02 Python