python数据预处理 :数据共线性处理详解


Posted in Python onFebruary 24, 2020

何为共线性:

共线性问题指的是输入的自变量之间存在较高的线性相关度。共线性问题会导致回归模型的稳定性和准确性大大降低,另外,过多无关的维度计算也很浪费时间

共线性产生原因:

变量出现共线性的原因:

数据样本不够,导致共线性存在偶然性,这其实反映了缺少数据对于数据建模的影响,共线性仅仅是影响的一部分

多个变量都给予时间有共同或相反的演变趋势,例如春节期间的网络销售量和销售额都相对与正常时间有下降趋势。

多个变量存在一定的推移关系,但总体上变量间的趋势一致,只是发生的时间点不一致,例如广告费用和销售额之间,通常是品牌广告先进行大范围的曝光和信息推送,经过一定时间传播之后,才会在销售额上做出反映。

多变量之间存在线性的关系。例如y代表访客数,用x代表展示广告费用,那么二者的关系很可能是y=2*x + b

如何检验共线性:

检验共线性:

容忍度(Tolerance):容忍度是每个自变量作为因变量对其他自变量进行回归建模时得到的残差比例,大小用1减得到的决定系数来表示。容忍度值越小说明这个自变量与其他自变量间越可能存在共线性问题。

方差膨胀因子 VIF是容忍度的倒数,值越大则共线性问题越明显,通常以10作为判断边界。当VIF<10,不存在多重共线性;当10<=VIF<100,存在较强的多重共线性;当VIF>=100, 存在严重多重共线性。

特征值(Eigenvalue):该方法实际上就是对自变量做主成分分析,如果多个维度的特征值等于0,则可能有比较严重的共线性。

相关系数:如果相关系数R>0.8时就可能存在较强相关性

如何处理共线性:

处理共线性:

增大样本量:增大样本量可以消除犹豫数据量不足而出现的偶然的共线性现象,在可行的前提下这种方法是需要优先考虑的

岭回归法(Ridge Regression):实际上是一种改良最小二乘估计法。通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价来获得更实际和可靠性更强的回归系数。因此岭回归在存在较强共线性的回归应用中较为常用。

逐步回归法(Stepwise Regression):每次引入一个自变量进行统计检验,然后逐步引入其他变量,同时对所有变量的回归系数进行检验,如果原来引入的变量由于后面变量的引入而变得不再显著,那么久将其剔除,逐步得到最有回归方程。

主成分回归(Principal Components Regression):通过主成分分析,将原始参与建模的变量转换为少数几个主成分,么个主成分是原变量的线性组合,然后基于主成分做回归分析,这样也可以在不丢失重要数据特征的前提下避开共线性问题。

人工去除:结合人工经验,对自变量进行删减,但是对操作者的业务能力、经验有很高的要求。

部分方法python代码实现

import numpy as np
import pandas as pd
from sklearn.linear_model import Ridge
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression

# 导入数据
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/boston/train.csv')

# 切分自变量
X = df.iloc[:, 1:-1].values

# 切分预测变量
y = df.iloc[:, [-1]].values

# 使用岭回归处理
import matplotlib.pyplot as plt
plt.figure(figsize=(8,6))
n_alphas = 20
alphas = np.logspace(-1,4,num=n_alphas)
coefs = []
for a in alphas:
  ridge = Ridge(alpha=a, fit_intercept=False)
  ridge.fit(X, y)
  coefs.append(ridge.coef_[0])
ax = plt.gca()
ax.plot(alphas, coefs)
ax.set_xscale('log')
handles, labels = ax.get_legend_handles_labels()
plt.legend(labels=df.columns[1:-1])
plt.xlabel('alpha')
plt.ylabel('weights')
plt.axis('tight')
plt.show()

python数据预处理 :数据共线性处理详解

只有nox有些许波动。

# 主成分回归进行回归分析
pca_model = PCA()
data_pca = pca_model.fit_transform(X)

# 得到所有主成分方差
ratio_cumsum = np.cumsum(pca_model.explained_variance_ratio_)
# 获取方差占比超过0.8的索引值
rule_index = np.where(ratio_cumsum > 0.9)
# 获取最小的索引值
min_index = rule_index[0][0]
# 根据最小索引值提取主成分
data_pca_result = data_pca[:, :min_index+1]
# 建立回归模型
model_liner = LinearRegression()
# 训练模型
model_liner.fit(data_pca_result, y)
print(model_liner.coef_)
#[[-0.02430516 -0.01404814]]

以上这篇python数据预处理 :数据共线性处理详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过ElementTree操作XML获取结点读取属性美化XML
Dec 02 Python
Python求算数平方根和约数的方法汇总
Mar 09 Python
Windows下安装python MySQLdb遇到的问题及解决方法
Mar 16 Python
对python mayavi三维绘图的实现详解
Jan 08 Python
Django自带日志 settings.py文件配置方法
Aug 30 Python
python 字典有序并写入json文件过程解析
Sep 30 Python
Python数据可视化:饼状图的实例讲解
Dec 07 Python
Windows 下更改 jupyterlab 默认启动位置的教程详解
May 18 Python
学会python自动收发邮件 代替你问候女友
May 20 Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 Python
Python urllib request模块发送请求实现过程解析
Dec 10 Python
Python基础之数据结构详解
Apr 28 Python
使用python实现多维数据降维操作
Feb 24 #Python
python数据预处理 :数据抽样解析
Feb 24 #Python
Python找出列表中出现次数最多的元素三种方式
Feb 24 #Python
Python流程控制常用工具详解
Feb 24 #Python
深入浅析Python 函数注解与匿名函数
Feb 24 #Python
python数据预处理方式 :数据降维
Feb 24 #Python
python实现PCA降维的示例详解
Feb 24 #Python
You might like
收音机频率指针指示不准确和灵敏度低问题
2021/03/02 无线电
浅谈PHP 闭包特性在实际应用中的问题
2009/10/30 PHP
Laravel与CI框架中截取字符串函数
2016/05/08 PHP
Javascript拓展String方法小结
2013/07/08 Javascript
JavaScript插件化开发教程 (二)
2015/01/27 Javascript
js实现不重复导入的方法
2016/03/02 Javascript
JS简单测试循环运行时间的方法
2016/09/04 Javascript
JS类的定义与使用方法深入探索
2016/11/26 Javascript
微信小程序 label 组件详解及简单实例
2017/01/10 Javascript
Java与JavaScript中判断两字符串是否相等的区别
2017/03/13 Javascript
vue+jquery+lodash实现滑动时顶部悬浮固定效果
2018/04/28 jQuery
基于Vue 2.0 监听文本框内容变化及ref的使用说明介绍
2018/08/24 Javascript
解决Vue的文本编辑器 vue-quill-editor 小图标样式排布错乱问题
2020/08/03 Javascript
如何构建一个Vue插件并生成npm包
2020/10/26 Javascript
讲解Python中的递归函数
2015/04/27 Python
python中判断文件编码的chardet(实例讲解)
2017/12/21 Python
Python制作词云的方法
2018/01/03 Python
Python 实现在文件中的每一行添加一个逗号
2018/04/29 Python
Linux下多个Python版本安装教程
2018/08/15 Python
python 实现批量xls文件转csv文件的方法
2018/10/23 Python
python 下 CMake 安装配置 OPENCV 4.1.1的方法
2019/09/30 Python
通俗易懂了解Python装饰器原理
2020/09/17 Python
英国最出名高街品牌:Forever Unique
2018/02/24 全球购物
巴西备受欢迎的服装和生活方式品牌:FARM Rio
2020/02/04 全球购物
CAT鞋加拿大官网:CAT Footwear加拿大
2020/08/05 全球购物
物理教育专业毕业生推荐信
2013/11/03 职场文书
敲诈同学钱财检讨书范文
2014/11/18 职场文书
2014年纪委工作总结
2014/12/05 职场文书
全陪导游词
2015/02/04 职场文书
学期个人工作总结
2015/02/13 职场文书
2015年乡镇流动人口工作总结
2015/05/12 职场文书
2016年国陪研修感言
2015/11/18 职场文书
Html5生成验证码的示例代码
2021/05/10 Javascript
Python序列化与反序列化相关知识总结
2021/06/08 Python
JavaScript事件的委托(代理)的用法示例详解
2022/02/18 Javascript
国产动画《万圣街》日语配音版制作决定!
2022/03/20 国漫