python 逐步回归算法


Posted in Python onApril 06, 2021

算法介绍

逐步回归是一种线性回归模型自变量选择方法;
逐步回归的基本思想是将变量逐个引入模型,每引入一个解释变量后都要进行F检验,并对已经选入的解释变量逐个进行t检验,当原来引入的解释变量由于后面解释变量的引入变得不再显著时,则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程,直到既没有显著的解释变量选入回归方程,也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。
这里我们选择赤池信息量(Akaike Information Criterion)来作为自变量选择的准则,赤池信息量(AIC)达到最小:基于最大似然估计原理的模型选择准则。

数据情况

案例

在现实生活中,影响一个地区居民消费的因素有很多,例如一个地区的人均生产总值、收入水平等等,本案例选取了9个解释变量研究城镇居民家庭平均每人全年的消费新支出y,解释变量为:
x1——居民的食品花费
x2——居民的衣着消费
x3——居民的居住花费
x4——居民的医疗保健花费
x5——居民的文教娱乐花费
x6——地区的职工平均工资
x7——地区的人均GDP
x8——地区的消费价格指数
x9——地区的失业率(%)

数据

python 逐步回归算法

代码

# -*- coding: UTF-8 -*-

import numpy as np
import statsmodels.api as sm
import statsmodels.formula.api as smf
from statsmodels.stats.api import anova_lm
import matplotlib.pyplot as plt
import pandas as pd
from patsy import dmatrices
import itertools as it
import random


# Load data 读取数据
df = pd.read_csv('data3.1.csv',encoding='gbk')
print(df)


target = 'y'
variate = set(df.columns) #获取列名
variate.remove(target) #去除无关列
variate.remove('地区')

#定义多个数组,用来分别用来添加变量,删除变量
x = []
variate_add = []
variate_del = variate.copy()
# print(variate_del)
y = random.sample(variate,3) #随机生成一个选模型,3为变量的个数
print(y)
#将随机生成的三个变量分别输入到 添加变量和删除变量的数组
for i in y:
 variate_add.append(i)
 x.append(i)
 variate_del.remove(i)

global aic #设置全局变量 这里选择AIC值作为指标
formula="{}~{}".format("y","+".join(variate_add)) #将自变量名连接起来
aic=smf.ols(formula=formula,data=df).fit().aic #获取随机函数的AIC值,与后面的进行对比
print("随机化选模型为:{}~{},对应的AIC值为:{}".format("y","+".join(variate_add), aic))
print("\n")



#添加变量
def forwark():
 score_add = []
 global best_add_score
 global best_add_c
 print("添加变量")
 for c in variate_del:
  formula = "{}~{}".format("y", "+".join(variate_add+[c]))
  score = smf.ols(formula = formula, data = df).fit().aic
  score_add.append((score, c)) #将添加的变量,以及新的AIC值一起存储在数组中
  
  print('自变量为{},对应的AIC值为:{}'.format("+".join(variate_add+[c]), score))

 score_add.sort(reverse=True) #对数组内的数据进行排序,选择出AIC值最小的
 best_add_score, best_add_c = score_add.pop()
 
 print("最小AIC值为:{}".format(best_add_score))
 print("\n")

#删除变量
def back():
 score_del = []
 global best_del_score
 global best_del_c
 print("剔除变量")
 for i in x:

  select = x.copy() #copy一个集合,避免重复修改到原集合
  select.remove(i)
  formula = "{}~{}".format("y","+".join(select))
  score = smf.ols(formula = formula, data = df).fit().aic
  print('自变量为{},对应的AIC值为:{}'.format("+".join(select), score))
  score_del.append((score, i))

 score_del.sort(reverse=True) #排序,方便将最小值输出
 best_del_score, best_del_c = score_del.pop() #将最小的AIC值以及对应剔除的变量分别赋值
 print("最小AIC值为:{}".format(best_del_score))
 print("\n")

print("剩余变量为:{}".format(variate_del))
forwark()
back()

while variate:
  
#  forwark()
#  back()
 if(aic < best_add_score < best_del_score or aic < best_del_score < best_add_score):
  print("当前回归方程为最优回归方程,为{}~{},AIC值为:{}".format("y","+".join(variate_add), aic))
  break
 elif(best_add_score < best_del_score < aic or best_add_score < aic < best_del_score):
  print("目前最小的aic值为{}".format(best_add_score))
  print('选择自变量:{}'.format("+".join(variate_add + [best_add_c]))) 
  print('\n')
  variate_del.remove(best_add_c)
  variate_add.append(best_add_c)
  print("剩余变量为:{}".format(variate_del))
  aic = best_add_score
  forwark()
 else:
  print('当前最小AIC值为:{}'.format(best_del_score))
  print('需要剔除的变量为:{}'.format(best_del_c))
  aic = best_del_score #将AIC值较小的选模型AIC值赋给aic再接着下一轮的对比
  x.remove(best_del_c) #在原集合上剔除选模型所对应剔除的变量
  back()

结果

python 逐步回归算法

python 逐步回归算法

python 逐步回归算法

以上就是如何用python 做逐步回归的详细内容,更多关于python 逐步回归的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python下singleton模式的实现方法
Jul 16 Python
Python序列之list和tuple常用方法以及注意事项
Jan 09 Python
Python中实现switch功能实例解析
Jan 11 Python
为什么Python中没有&quot;a++&quot;这种写法
Nov 27 Python
python切片(获取一个子列表(数组))详解
Aug 09 Python
Python列表删除元素del、pop()和remove()的区别小结
Sep 11 Python
对python中assert、isinstance的用法详解
Nov 27 Python
PyTorch使用cpu加载模型运算方式
Jan 13 Python
利用python控制Autocad:pyautocad方式
Jun 01 Python
python opencv把一张图片嵌入(叠加)到另一张图片上的实现代码
Jun 11 Python
Python xlrd/xlwt 创建excel文件及常用操作
Sep 24 Python
详解如何用Python实现感知器算法
Jun 18 Python
python 通过使用Yolact训练数据集
python生成随机数、随机字符、随机字符串
Apr 06 #Python
Django项目配置Memcached和Redis, 缓存选择哪个更有优势
Apr 06 #Python
PySwarms(Python粒子群优化工具包)的使用:GlobalBestPSO例子解析
python实现批量提取指定文件夹下同类型文件
Apr 05 #Python
python实现ROA算子边缘检测算法
python实现批量移动文件
You might like
PHP读取目录下所有文件的代码
2008/01/07 PHP
PHP中break及continue两个流程控制指令区别分析
2011/04/18 PHP
php删除数组元素示例分享
2014/02/17 PHP
php常用的url处理函数总结
2014/11/19 PHP
php批量删除cookie的简单实现方法
2015/01/26 PHP
php使用ob_flush不能每隔一秒输出原理分析
2015/06/02 PHP
一波PHP中cURL库的常见用法代码示例
2016/05/06 PHP
PHP文件系统管理(实例讲解)
2017/09/19 PHP
关于PHP5.6+版本“No input file specified”问题的解决
2019/12/11 PHP
js宝典学习笔记(上)
2007/01/10 Javascript
javascript实现二分查找法实现代码
2007/11/12 Javascript
jQuery Form 页面表单提交的小例子
2013/11/15 Javascript
JavaScript中setInterval的用法总结
2013/11/20 Javascript
教你如何使用firebug调试功能了解javascript闭包和this
2015/03/04 Javascript
AngularJs实现分页功能不带省略号的代码
2016/05/30 Javascript
快速移动鼠标触发问题及解决方法(ECharts外部调用保存为图片操作及工作流接线mouseenter和mouseleave)
2016/08/29 Javascript
jQuery插件HighCharts绘制的基本折线图效果示例【附demo源码下载】
2017/03/07 Javascript
Angularjs处理页面闪烁的解决方法
2017/03/09 Javascript
[01:00:10]完美世界DOTA2联赛PWL S2 FTD vs Inki 第二场 11.21
2020/11/24 DOTA
python使用BeautifulSoup分析网页信息的方法
2015/04/04 Python
Python处理菜单消息操作示例【基于win32ui模块】
2018/05/09 Python
python绘制漏斗图步骤详解
2019/03/04 Python
python发送多人邮件没有展示收件人问题的解决方法
2019/06/21 Python
python解析多层json操作示例
2019/12/30 Python
Python使用QQ邮箱发送邮件实例与QQ邮箱设置详解
2020/02/18 Python
jenkins+python自动化测试持续集成教程
2020/05/12 Python
如何基于Python pygame实现动画跑马灯
2020/11/18 Python
一个不错的HTML5 Canvas多层点击事件监听实例
2014/04/29 HTML / CSS
澳大利亚最大的网上油画销售画廊:Direct Art Australia
2018/04/15 全球购物
台湾专柜女包:KINAZ
2019/12/26 全球购物
小学见习报告
2014/10/31 职场文书
2014年协会工作总结
2014/11/22 职场文书
靠谱准确的求职信
2019/04/02 职场文书
成人成长感言如何写?
2019/08/16 职场文书
使用Django实现商城验证码模块的方法
2021/06/01 Python
MySQL 数据表操作
2022/05/04 MySQL