Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例


Posted in Python onOctober 15, 2020

公共的抽象基类

import numpy as np
from abc import ABCMeta, abstractmethod


class LinearModel(metaclass=ABCMeta):
 """
 Abstract base class of Linear Model.
 """

 def __init__(self):
  # Before fit or predict, please transform samples' mean to 0, var to 1.
  self.scaler = StandardScaler()

 @abstractmethod
 def fit(self, X, y):
  """fit func"""

 def predict(self, X):
  # before predict, you must run fit func.
  if not hasattr(self, 'coef_'):
   raise Exception('Please run `fit` before predict')

  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]

  # `x @ y` == `np.dot(x, y)`
  return X @ self.coef_

Linear Regression

class LinearRegression(LinearModel):
 """
 Linear Regression.
 """

 def __init__(self):
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(X.T @ X) @ X.T @ y
  return self

Lasso

class Lasso(LinearModel):
 """
 Lasso Regression, training by Coordinate Descent.
 cost = ||X @ coef_||^2 + alpha * ||coef_||_1
 """
 def __init__(self, alpha=1.0, n_iter=1000, e=0.1):
  self.alpha = alpha
  self.n_iter = n_iter
  self.e = e
  super().__init__()

 def fit(self, X, y):
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.zeros(X.shape[1])
  for _ in range(self.n_iter):
   z = np.sum(X * X, axis=0)
   tmp = np.zeros(X.shape[1])
   for k in range(X.shape[1]):
    wk = self.coef_[k]
    self.coef_[k] = 0
    p_k = X[:, k] @ (y - X @ self.coef_)
    if p_k < -self.alpha / 2:
     w_k = (p_k + self.alpha / 2) / z[k]
    elif p_k > self.alpha / 2:
     w_k = (p_k - self.alpha / 2) / z[k]
    else:
     w_k = 0
    tmp[k] = w_k
    self.coef_[k] = wk
   if np.linalg.norm(self.coef_ - tmp) < self.e:
    break
   self.coef_ = tmp
  return self

Ridge

class Ridge(LinearModel):
 """
 Ridge Regression.
 """

 def __init__(self, alpha=1.0):
  self.alpha = alpha
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(
   X.T @ X + self.alpha * np.eye(X.shape[1])) @ X.T @ y
  return self

测试代码

import matplotlib.pyplot as plt
import numpy as np

def gen_reg_data():
 X = np.arange(0, 45, 0.1)
 X = X + np.random.random(size=X.shape[0]) * 20
 y = 2 * X + np.random.random(size=X.shape[0]) * 20 + 10
 return X, y

def test_linear_regression():
 clf = LinearRegression()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Linear Regression")
 plt.show()

def test_lasso():
 clf = Lasso()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Lasso")
 plt.show()

def test_ridge():
 clf = Ridge()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Ridge")
 plt.show()

测试效果

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

更多机器学习代码,请访问 https://github.com/WiseDoge/plume

以上就是Python 实现 3 种回归模型(Linear Regression,Lasso,Ridge)的示例的详细内容,更多关于Python 实现 回归模型的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python的函数嵌套的使用方法
Jan 24 Python
Python2.x中文乱码问题解决方法
Jun 02 Python
Python矩阵常见运算操作实例总结
Sep 29 Python
python执行使用shell命令方法分享
Nov 08 Python
pycharm下打开、执行并调试scrapy爬虫程序的方法
Nov 29 Python
Flask之flask-session的具体使用
Jul 26 Python
Python面向对象之继承和多态用法分析
Jun 08 Python
python使用正则表达式(Regular Expression)方法超详细
Dec 30 Python
解决在keras中使用model.save()函数保存模型失败的问题
May 21 Python
python 实现&quot;神经衰弱&quot;翻牌游戏
Nov 09 Python
Django中如何用xlwt生成表格的方法步骤
Jan 31 Python
python实战之用emoji表情生成文字
May 08 Python
Python在centos7.6上安装python3.9的详细教程(默认python版本为2.7.5)
Oct 15 #Python
Pycharm编辑器功能之代码折叠效果的实现代码
Oct 15 #Python
如何用Python 实现全连接神经网络(Multi-layer Perceptron)
Oct 15 #Python
python 实现非极大值抑制算法(Non-maximum suppression, NMS)
Oct 15 #Python
解决pip安装的第三方包在PyCharm无法导入的问题
Oct 15 #Python
python实现粒子群算法
Oct 15 #Python
如何将anaconda安装配置的mmdetection环境离线拷贝到另一台电脑
Oct 15 #Python
You might like
星际争霸任务指南——神族
2020/03/04 星际争霸
如何用php获取程序执行的时间
2013/06/09 PHP
yii实现级联下拉菜单的方法
2014/07/31 PHP
PHP bin2hex()函数基础实例讲解
2019/02/11 PHP
禁止直接访问php文件代码分享
2020/05/05 PHP
Extjs学习笔记之四 工具栏和菜单
2010/01/07 Javascript
下拉列表选择项的选中在不同浏览器中的兼容性问题探讨
2013/09/18 Javascript
JS获取当前网址、主机地址项目根路径
2013/11/19 Javascript
使用JSLint提高JS代码质量方法分享
2013/12/16 Javascript
iframe如何动态创建及释放其所占内存
2014/09/03 Javascript
Jquery Ajax xmlhttp请求成功问题
2015/02/04 Javascript
基于jquery实现省市区三级联动效果
2015/12/25 Javascript
javascript监听页面刷新和页面关闭事件方法详解
2017/01/09 Javascript
js实现添加删除表格(两种方法)
2017/04/27 Javascript
解决vue打包css文件中背景图片的路径问题
2018/09/03 Javascript
重学JS 系列:聊聊继承(推荐)
2019/04/11 Javascript
jquery实现烟花效果(面向对象)
2020/03/10 jQuery
jquery实现简易验证插件封装
2020/09/13 jQuery
20个常用Python运维库和模块
2018/02/12 Python
解决python爬虫中有中文的url问题
2018/05/11 Python
python3人脸识别的两种方法
2019/04/25 Python
Django单元测试工具test client使用详解
2019/08/02 Python
Python SSL证书验证问题解决方案
2020/01/13 Python
使用pytorch搭建AlexNet操作(微调预训练模型及手动搭建)
2020/01/18 Python
基于python爬取梨视频实现过程解析
2020/11/09 Python
Python加载数据的5种不同方式(收藏)
2020/11/13 Python
HTML5 本地存储和内容按需加载的思路和方法
2011/04/07 HTML / CSS
加拿大女包品牌:Matt & Nat
2017/05/12 全球购物
世界领先的26岁以下学生和青少年旅行预订网站:StudentUniverse
2018/07/01 全球购物
Lovedrobe官网:英国领先的大码服装品牌
2019/09/19 全球购物
班级聚会策划书
2014/01/16 职场文书
文员试用期转正自我鉴定
2014/09/14 职场文书
不服从上级领导安排的检讨书
2014/09/14 职场文书
学习作风建设心得体会
2014/10/22 职场文书
人身损害赔偿协议书
2016/03/22 职场文书
SQL Server作业失败:无法确定所有者是否有服务器访问权限的解决方法
2021/06/30 SQL Server