Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例


Posted in Python onOctober 15, 2020

公共的抽象基类

import numpy as np
from abc import ABCMeta, abstractmethod


class LinearModel(metaclass=ABCMeta):
 """
 Abstract base class of Linear Model.
 """

 def __init__(self):
  # Before fit or predict, please transform samples' mean to 0, var to 1.
  self.scaler = StandardScaler()

 @abstractmethod
 def fit(self, X, y):
  """fit func"""

 def predict(self, X):
  # before predict, you must run fit func.
  if not hasattr(self, 'coef_'):
   raise Exception('Please run `fit` before predict')

  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]

  # `x @ y` == `np.dot(x, y)`
  return X @ self.coef_

Linear Regression

class LinearRegression(LinearModel):
 """
 Linear Regression.
 """

 def __init__(self):
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(X.T @ X) @ X.T @ y
  return self

Lasso

class Lasso(LinearModel):
 """
 Lasso Regression, training by Coordinate Descent.
 cost = ||X @ coef_||^2 + alpha * ||coef_||_1
 """
 def __init__(self, alpha=1.0, n_iter=1000, e=0.1):
  self.alpha = alpha
  self.n_iter = n_iter
  self.e = e
  super().__init__()

 def fit(self, X, y):
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.zeros(X.shape[1])
  for _ in range(self.n_iter):
   z = np.sum(X * X, axis=0)
   tmp = np.zeros(X.shape[1])
   for k in range(X.shape[1]):
    wk = self.coef_[k]
    self.coef_[k] = 0
    p_k = X[:, k] @ (y - X @ self.coef_)
    if p_k < -self.alpha / 2:
     w_k = (p_k + self.alpha / 2) / z[k]
    elif p_k > self.alpha / 2:
     w_k = (p_k - self.alpha / 2) / z[k]
    else:
     w_k = 0
    tmp[k] = w_k
    self.coef_[k] = wk
   if np.linalg.norm(self.coef_ - tmp) < self.e:
    break
   self.coef_ = tmp
  return self

Ridge

class Ridge(LinearModel):
 """
 Ridge Regression.
 """

 def __init__(self, alpha=1.0):
  self.alpha = alpha
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(
   X.T @ X + self.alpha * np.eye(X.shape[1])) @ X.T @ y
  return self

测试代码

import matplotlib.pyplot as plt
import numpy as np

def gen_reg_data():
 X = np.arange(0, 45, 0.1)
 X = X + np.random.random(size=X.shape[0]) * 20
 y = 2 * X + np.random.random(size=X.shape[0]) * 20 + 10
 return X, y

def test_linear_regression():
 clf = LinearRegression()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Linear Regression")
 plt.show()

def test_lasso():
 clf = Lasso()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Lasso")
 plt.show()

def test_ridge():
 clf = Ridge()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Ridge")
 plt.show()

测试效果

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

更多机器学习代码,请访问 https://github.com/WiseDoge/plume

以上就是Python 实现 3 种回归模型(Linear Regression,Lasso,Ridge)的示例的详细内容,更多关于Python 实现 回归模型的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
基于python编写的微博应用
Oct 17 Python
玩转python爬虫之爬取糗事百科段子
Feb 17 Python
python pandas中DataFrame类型数据操作函数的方法
Apr 08 Python
pandas groupby 分组取每组的前几行记录方法
Apr 20 Python
Python带动态参数功能的sqlite工具类
May 26 Python
selenium + python 获取table数据的示例讲解
Oct 13 Python
Python设计模式之工厂方法模式实例详解
Jan 18 Python
selenium+python截图不成功的解决方法
Jan 30 Python
django实现模型字段动态choice的操作
Apr 01 Python
Django框架配置mysql数据库实现过程
Apr 22 Python
基于python实现音乐播放器代码实例
Jul 01 Python
python实现图片转换成素描和漫画格式
Aug 19 Python
Python在centos7.6上安装python3.9的详细教程(默认python版本为2.7.5)
Oct 15 #Python
Pycharm编辑器功能之代码折叠效果的实现代码
Oct 15 #Python
如何用Python 实现全连接神经网络(Multi-layer Perceptron)
Oct 15 #Python
python 实现非极大值抑制算法(Non-maximum suppression, NMS)
Oct 15 #Python
解决pip安装的第三方包在PyCharm无法导入的问题
Oct 15 #Python
python实现粒子群算法
Oct 15 #Python
如何将anaconda安装配置的mmdetection环境离线拷贝到另一台电脑
Oct 15 #Python
You might like
php遍历数组的方法分享
2012/03/22 PHP
WordPress中邮件的一些修改和自定义技巧
2015/12/15 PHP
symfony2.4的twig中date用法分析
2016/03/18 PHP
php实现通过soap调用.Net的WebService asmx文件
2017/02/27 PHP
PHP实现基于图的深度优先遍历输出1,2,3...n的全排列功能
2017/11/10 PHP
Javascript创建Silverlight Plugin以及自定义nonSilverlight和lowSilverlight样式
2010/06/28 Javascript
node.js中的fs.statSync方法使用说明
2014/12/16 Javascript
jQuery DOM插入节点操作指南
2015/03/03 Javascript
cocos2dx骨骼动画Armature源码剖析(三)
2015/09/08 Javascript
JS控制FileUpload的上传文件类型实例代码
2016/10/07 Javascript
浅谈javascript中的事件冒泡和事件捕获
2016/12/28 Javascript
分享一道关于闭包、bind和this的面试题
2017/02/20 Javascript
VueJs组件prop验证简单介绍
2017/09/12 Javascript
微信小程序swiper组件用法实例分析【附源码下载】
2017/12/07 Javascript
ES6与CommonJS中的模块处理的区别
2018/06/13 Javascript
vue实现文字横向无缝走马灯组件效果的实例代码
2019/04/09 Javascript
Jquery动态列功能完整实例
2019/08/30 jQuery
JS实现表单中点击小眼睛显示隐藏密码框中的密码
2020/04/13 Javascript
Vue切换Tab动态渲染组件的操作
2020/09/21 Javascript
微信小程序入门之绘制时钟
2020/10/22 Javascript
[06:42]DOTA2每周TOP10 精彩击杀集锦vol.1
2014/06/25 DOTA
Flask框架使用DBUtils模块连接数据库操作示例
2018/07/20 Python
python散点图实例之随机漫步
2018/08/27 Python
python+unittest+requests实现接口自动化的方法
2018/11/29 Python
Pandas之groupby( )用法笔记小结
2019/07/23 Python
python实现录屏功能(亲测好用)
2020/03/02 Python
New Balance波兰官方商城:始于1906年,百年慢跑品牌
2017/08/15 全球购物
美国领先的男士和女士内衣购物网站:Freshpair
2019/02/25 全球购物
工厂厂长的职责
2013/12/12 职场文书
大专生自荐书范文
2014/06/22 职场文书
党员批评与自我批评发言材料
2014/10/14 职场文书
小学二年级数学教学计划
2015/01/20 职场文书
个人优缺点总结
2015/02/28 职场文书
《实心球》教学反思
2016/02/23 职场文书
2019最新企业员工考勤管理制度(通用版)!
2019/07/02 职场文书
详解java如何集成swagger组件
2021/06/21 Java/Android