最小二乘法及其python实现详解


Posted in Python onFebruary 24, 2020

最小二乘法Least Square Method,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出)。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

那什么是最小二乘法呢?别着急,我们先从几个简单的概念说起。

假设我们现在有一系列的数据点 最小二乘法及其python实现详解 ,那么由我们给出的拟合函数h(x)得到的估计量就是 最小二乘法及其python实现详解 ,那么怎么评估我们给出的拟合函数与实际待求解的函数的拟合程度比较高呢?这里我们先定义一个概念:残差 最小二乘法及其python实现详解 , 我们估计拟合程度都是在残差的基础上进行的。下面再介绍三种范数:

• ∞-范数:残差绝对值的最大值 最小二乘法及其python实现详解 ,即所有数据点中残差距离的最大值

• 1-范数:绝对残差和最小二乘法及其python实现详解 ,即所有数据点残差距离之和

• 2-范数:残差平方和 最小二乘法及其python实现详解

前两种范数是最容易想到,最自然的,但是不利于进行微分运算,在数据量很大的情况下计算量太大,不具有可操作性。因此一般使用的是2-范数。

说了这么多,那范数和拟合有什么关系呢?拟合程度,用通俗的话来讲,就是我们的拟合函数h(x)与待求解的函数y之间的相似性。那么2-范数越小,自然相似性就比较高了。

由此,我们可以写出最小二乘法的定义了:

对于给定的数据 最小二乘法及其python实现详解 ,在取定的假设空间H中,求解h(x)∈H,使得残差 最小二乘法及其python实现详解 的2-范数最小,即

最小二乘法及其python实现详解

从几何上讲,就是寻找与给定点 最小二乘法及其python实现详解 距离平方和最小的曲线y=h(x)。h(x)称为拟合函数或者最小二乘解,求解拟合函数h(x)的方法称为曲线拟合的最小二乘法。

那么这里的h(x)到底应该长什么样呢?一般情况下,这是一条多项式曲线:

最小二乘法及其python实现详解

这里h(x,w)是一个n次多项式,w是其参数。

也就是说,最小二乘法就是要找到这样一组 最小二乘法及其python实现详解 ,使得 最小二乘法及其python实现详解 最小。

那么如何找到这样的w,使得其拟合函数h(x)与目标函数y具有最高拟合程度呢?即最小二乘法如何求解呢,这才是关键啊。

假设我们的拟合函数是一个线性函数,即:

最小二乘法及其python实现详解

(当然,也可以是二次函数,或者更高维的函数,这里仅仅是作为求解范例,所以采用了最简单的线性函数)那么我们的目标就是找到这样的w,

最小二乘法及其python实现详解

这里令 最小二乘法及其python实现详解 为样本 最小二乘法及其python实现详解 的平方损失函数

这里的Q(w)即为我们要进行最优化的风险函数。

学过微积分的同学应该比较清楚,这是一个典型的求解极值的问题,只需要分别对 18 求偏导数,然后令偏导数为0,即可求解出极值点,即:

最小二乘法及其python实现详解

接下来只需要求解这个方程组即可解出w_i 的值

============ 分割分割 =============

上面我们讲解了什么是最小二乘法,以及如何求解最小二乘解,下面我们将通过Python来实现最小二乘法。

这里我们把目标函数选为y=sin(2πx),叠加上一个正态分布作为噪音干扰,然后使用多项式分布去拟合它。

代码:

# _*_ coding: utf-8 _*_
# 作者: yhao
# 博客: http://blog.csdn.net/yhao2014
# 邮箱: yanhao07@sina.com
 
import numpy as np # 引入numpy
import scipy as sp
import pylab as pl
from scipy.optimize import leastsq # 引入最小二乘函数
 
n = 9 # 多项式次数
 
 
# 目标函数
def real_func(x):
 return np.sin(2 * np.pi * x)
 
 
# 多项式函数
def fit_func(p, x):
 f = np.poly1d(p)
 return f(x)
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 return ret
 
 
x = np.linspace(0, 1, 9) # 随机选择9个点作为x
x_points = np.linspace(0, 1, 1000) # 画图时需要的连续点
 
y0 = real_func(x) # 目标函数
y1 = [np.random.normal(0, 0.1) + y for y in y0] # 添加正太分布噪声后的函数
 
p_init = np.random.randn(n) # 随机初始化多项式参数
 
plsq = leastsq(residuals_func, p_init, args=(y1, x))
 
print 'Fitting Parameters: ', plsq[0] # 输出拟合参数
 
pl.plot(x_points, real_func(x_points), label='real')
pl.plot(x_points, fit_func(plsq[0], x_points), label='fitted curve')
pl.plot(x, y1, 'bo', label='with noise')
pl.legend()
pl.show()

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

从图像上看,很明显我们的拟合函数过拟合了,下面我们尝试在风险函数的基础上加上正则化项,来降低过拟合的现象:

最小二乘法及其python实现详解

为此,我们只需要在残差函数中将lambda^(1/2)p加在了返回的array的后面

regularization = 0.1 # 正则化系数lambda
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 ret = np.append(ret, np.sqrt(regularization) * p) # 将lambda^(1/2)p加在了返回的array的后面
 return ret

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

很明显,在适当的正则化约束下,可以比较好的拟合目标函数。

注意,如果正则化项的系数太大,会导致欠拟合现象(此时的惩罚项权重特别高)

如,设置regularization=0.1时,图像如下:

最小二乘法及其python实现详解

此时明显欠拟合。所以要慎重进行正则化参数的选择。

以上这篇最小二乘法及其python实现详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现的下载8000首儿歌的代码分享
Nov 21 Python
使用Python下的XSLT API进行web开发的简单教程
Apr 15 Python
Python实现统计代码行的方法分析
Jul 12 Python
python pandas库中DataFrame对行和列的操作实例讲解
Jun 09 Python
对pandas通过索引提取dataframe的行方法详解
Feb 01 Python
Python实现K折交叉验证法的方法步骤
Jul 11 Python
使用python实现离散时间傅里叶变换的方法
Sep 02 Python
在python中计算ssim的方法(与Matlab结果一致)
Dec 19 Python
解决tensorflow 释放图,删除变量问题
Jun 23 Python
python unichr函数知识点总结
Dec 16 Python
python 指定源路径来解决import问题的操作
Mar 04 Python
变长双向rnn的正确使用姿势教学
May 31 Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
用python介绍4种常用的单链表翻转的方法小结
Feb 24 #Python
关于多元线性回归分析——Python&SPSS
Feb 24 #Python
使用 pytorch 创建神经网络拟合sin函数的实现
Feb 24 #Python
You might like
PHP警告Cannot use a scalar value as an array的解决方法
2012/01/11 PHP
PHP函数spl_autoload_register()用法和__autoload()介绍
2012/02/04 PHP
CI(CodeIgniter)框架介绍
2014/06/09 PHP
设定php简写功能的方法
2019/11/28 PHP
简约JS日历控件 实例代码
2013/07/12 Javascript
jquery简单的拖动效果实现原理及示例
2013/07/26 Javascript
jQuery学习笔记之jQuery动画效果
2013/09/09 Javascript
一个js过滤空格的小函数
2014/10/10 Javascript
js实现获取div坐标的方法
2015/11/16 Javascript
javascript数据类型验证方法
2015/12/31 Javascript
AngularJS中$watch和$timeout的使用示例
2016/09/20 Javascript
JS实现简单拖拽效果
2017/06/21 Javascript
使用JS判断页面是首次被加载还是刷新
2019/05/26 Javascript
解析JS在获取当前月的最后一天遇到的坑
2019/08/30 Javascript
Vue 实现输入框新增搜索历史记录功能
2019/10/15 Javascript
24行JavaScript代码实现Redux的方法实例
2019/11/17 Javascript
原生js实现随机点名
2020/07/05 Javascript
[01:33:07]VGJ.T vs Newbee Supermajor 败者组 BO3 第一场 6.6
2018/06/07 DOTA
利用Celery实现Django博客PV统计功能详解
2017/05/08 Python
python字符串string的内置方法实例详解
2018/05/14 Python
python 正确保留多位小数的实例
2018/07/16 Python
使用WingPro 7 设置Python路径的方法
2019/07/24 Python
用OpenCV将视频分解成单帧图片,图片合成视频示例
2019/12/10 Python
PyTorch中Tensor的数据类型和运算的使用
2020/09/03 Python
详解如何在登录过期后跳出Ifram框架
2020/09/10 HTML / CSS
美特斯邦威官方商城:邦购网
2016/10/13 全球购物
荷兰超市:DEEN
2018/03/14 全球购物
小加工厂管理制度
2014/01/21 职场文书
优质服务口号
2014/06/11 职场文书
区域经理岗位职责
2015/02/02 职场文书
2015年预防青少年违法犯罪工作总结
2015/05/22 职场文书
在校证明模板
2015/06/17 职场文书
2015年教师节广播稿
2015/08/19 职场文书
python解决12306登录验证码的实现
2021/04/18 Python
MySQL高速缓存启动方法及参数详解(query_cache_size)
2021/07/01 MySQL
「回转企鹅罐」10周年纪念展「輪るピングドラム展」海报公开
2022/03/22 日漫