python数据预处理 :数据共线性处理详解


Posted in Python onFebruary 24, 2020

何为共线性:

共线性问题指的是输入的自变量之间存在较高的线性相关度。共线性问题会导致回归模型的稳定性和准确性大大降低,另外,过多无关的维度计算也很浪费时间

共线性产生原因:

变量出现共线性的原因:

数据样本不够,导致共线性存在偶然性,这其实反映了缺少数据对于数据建模的影响,共线性仅仅是影响的一部分

多个变量都给予时间有共同或相反的演变趋势,例如春节期间的网络销售量和销售额都相对与正常时间有下降趋势。

多个变量存在一定的推移关系,但总体上变量间的趋势一致,只是发生的时间点不一致,例如广告费用和销售额之间,通常是品牌广告先进行大范围的曝光和信息推送,经过一定时间传播之后,才会在销售额上做出反映。

多变量之间存在线性的关系。例如y代表访客数,用x代表展示广告费用,那么二者的关系很可能是y=2*x + b

如何检验共线性:

检验共线性:

容忍度(Tolerance):容忍度是每个自变量作为因变量对其他自变量进行回归建模时得到的残差比例,大小用1减得到的决定系数来表示。容忍度值越小说明这个自变量与其他自变量间越可能存在共线性问题。

方差膨胀因子 VIF是容忍度的倒数,值越大则共线性问题越明显,通常以10作为判断边界。当VIF<10,不存在多重共线性;当10<=VIF<100,存在较强的多重共线性;当VIF>=100, 存在严重多重共线性。

特征值(Eigenvalue):该方法实际上就是对自变量做主成分分析,如果多个维度的特征值等于0,则可能有比较严重的共线性。

相关系数:如果相关系数R>0.8时就可能存在较强相关性

如何处理共线性:

处理共线性:

增大样本量:增大样本量可以消除犹豫数据量不足而出现的偶然的共线性现象,在可行的前提下这种方法是需要优先考虑的

岭回归法(Ridge Regression):实际上是一种改良最小二乘估计法。通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价来获得更实际和可靠性更强的回归系数。因此岭回归在存在较强共线性的回归应用中较为常用。

逐步回归法(Stepwise Regression):每次引入一个自变量进行统计检验,然后逐步引入其他变量,同时对所有变量的回归系数进行检验,如果原来引入的变量由于后面变量的引入而变得不再显著,那么久将其剔除,逐步得到最有回归方程。

主成分回归(Principal Components Regression):通过主成分分析,将原始参与建模的变量转换为少数几个主成分,么个主成分是原变量的线性组合,然后基于主成分做回归分析,这样也可以在不丢失重要数据特征的前提下避开共线性问题。

人工去除:结合人工经验,对自变量进行删减,但是对操作者的业务能力、经验有很高的要求。

部分方法python代码实现

import numpy as np
import pandas as pd
from sklearn.linear_model import Ridge
from sklearn.decomposition import PCA
from sklearn.linear_model import LinearRegression

# 导入数据
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/boston/train.csv')

# 切分自变量
X = df.iloc[:, 1:-1].values

# 切分预测变量
y = df.iloc[:, [-1]].values

# 使用岭回归处理
import matplotlib.pyplot as plt
plt.figure(figsize=(8,6))
n_alphas = 20
alphas = np.logspace(-1,4,num=n_alphas)
coefs = []
for a in alphas:
  ridge = Ridge(alpha=a, fit_intercept=False)
  ridge.fit(X, y)
  coefs.append(ridge.coef_[0])
ax = plt.gca()
ax.plot(alphas, coefs)
ax.set_xscale('log')
handles, labels = ax.get_legend_handles_labels()
plt.legend(labels=df.columns[1:-1])
plt.xlabel('alpha')
plt.ylabel('weights')
plt.axis('tight')
plt.show()

python数据预处理 :数据共线性处理详解

只有nox有些许波动。

# 主成分回归进行回归分析
pca_model = PCA()
data_pca = pca_model.fit_transform(X)

# 得到所有主成分方差
ratio_cumsum = np.cumsum(pca_model.explained_variance_ratio_)
# 获取方差占比超过0.8的索引值
rule_index = np.where(ratio_cumsum > 0.9)
# 获取最小的索引值
min_index = rule_index[0][0]
# 根据最小索引值提取主成分
data_pca_result = data_pca[:, :min_index+1]
# 建立回归模型
model_liner = LinearRegression()
# 训练模型
model_liner.fit(data_pca_result, y)
print(model_liner.coef_)
#[[-0.02430516 -0.01404814]]

以上这篇python数据预处理 :数据共线性处理详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 中的 else详解
Apr 23 Python
python select.select模块通信全过程解析
Sep 20 Python
python数字图像处理之高级滤波代码详解
Nov 23 Python
Python编程scoketServer实现多线程同步实例代码
Jan 29 Python
python中利用h5py模块读取h5文件中的主键方法
Jun 05 Python
为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)
Apr 06 Python
python 正则表达式贪婪模式与非贪婪模式原理、用法实例分析
Oct 14 Python
pytorch的梯度计算以及backward方法详解
Jan 10 Python
Django操作session 的方法
Mar 09 Python
通过实例解析python and和or使用方法
Nov 14 Python
详解Open Folder as PyCharm Project怎么添加的方法
Dec 29 Python
Python之多进程与多线程的使用
Feb 23 Python
使用python实现多维数据降维操作
Feb 24 #Python
python数据预处理 :数据抽样解析
Feb 24 #Python
Python找出列表中出现次数最多的元素三种方式
Feb 24 #Python
Python流程控制常用工具详解
Feb 24 #Python
深入浅析Python 函数注解与匿名函数
Feb 24 #Python
python数据预处理方式 :数据降维
Feb 24 #Python
python实现PCA降维的示例详解
Feb 24 #Python
You might like
用PHP制作静态网站的模板框架(二)
2006/10/09 PHP
destoon实现调用自增数字从1开始的方法
2014/08/21 PHP
CI框架扩展系统核心类的方法分析
2016/05/23 PHP
php实现在线考试系统【附源码】
2018/09/18 PHP
javascript 常用关键字列表集合
2007/12/04 Javascript
鼠标焦点离开文本框时验证的js代码
2013/07/19 Javascript
分享一则javascript 调试技巧
2015/01/02 Javascript
javascript实现仿IE顶部的可关闭警告条
2015/05/05 Javascript
jQuery实现复选框批量选择与反选的方法
2015/06/17 Javascript
JS+DIV+CSS实现仿表单下拉列表效果
2015/08/18 Javascript
详解用webpack的CommonsChunkPlugin提取公共代码的3种方式
2017/11/09 Javascript
vue父组件异步获取数据传给子组件的方法
2018/07/26 Javascript
使用异步组件优化Vue应用程序的性能
2019/04/28 Javascript
详解基于原生JS验证表单组件xy-form
2019/08/20 Javascript
webpack + vue 打包生成公共配置文件(域名) 方便动态修改
2019/08/29 Javascript
微信小程序学习总结(三)条件、模板、文件引用实例分析
2020/06/04 Javascript
如何在postman中添加cookie信息步骤解析
2020/06/30 Javascript
vue使用better-scroll实现滑动以及左右联动
2020/06/30 Javascript
python中正则表达式 re.findall 用法
2018/10/23 Python
Pycharm中出现ImportError:DLL load failed:找不到指定模块的解决方法
2019/09/17 Python
python 实现目录复制的三种小结
2019/12/04 Python
Python3将ipa包中的文件按大小排序
2020/04/17 Python
基于Python实现天天酷跑功能
2021/01/06 Python
Blue Nile中国官网:全球知名的钻石和珠宝网络零售商
2020/03/22 全球购物
介绍一下JMS编程步骤
2015/09/22 面试题
创业计划书模版
2014/02/05 职场文书
《宋庆龄故居的樟树》教学反思
2014/04/07 职场文书
篮球比赛口号
2014/06/10 职场文书
树转促学习心得体会
2014/09/10 职场文书
乡镇干部个人对照检查材料思想汇报
2014/10/04 职场文书
党的群众路线教育实践活动个人对照检查材料(乡镇)
2014/11/05 职场文书
2014年村党支部工作总结
2014/12/04 职场文书
2015年公务员工作总结
2015/04/24 职场文书
MySQL into_Mysql中replace与replace into用法案例详解
2021/09/14 MySQL
面试提问mysql一张表到底能存多少数据
2022/03/13 MySQL
2022年显卡天梯图(6月更新)
2022/06/17 数码科技