最小二乘法及其python实现详解


Posted in Python onFebruary 24, 2020

最小二乘法Least Square Method,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出)。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

那什么是最小二乘法呢?别着急,我们先从几个简单的概念说起。

假设我们现在有一系列的数据点 最小二乘法及其python实现详解 ,那么由我们给出的拟合函数h(x)得到的估计量就是 最小二乘法及其python实现详解 ,那么怎么评估我们给出的拟合函数与实际待求解的函数的拟合程度比较高呢?这里我们先定义一个概念:残差 最小二乘法及其python实现详解 , 我们估计拟合程度都是在残差的基础上进行的。下面再介绍三种范数:

• ∞-范数:残差绝对值的最大值 最小二乘法及其python实现详解 ,即所有数据点中残差距离的最大值

• 1-范数:绝对残差和最小二乘法及其python实现详解 ,即所有数据点残差距离之和

• 2-范数:残差平方和 最小二乘法及其python实现详解

前两种范数是最容易想到,最自然的,但是不利于进行微分运算,在数据量很大的情况下计算量太大,不具有可操作性。因此一般使用的是2-范数。

说了这么多,那范数和拟合有什么关系呢?拟合程度,用通俗的话来讲,就是我们的拟合函数h(x)与待求解的函数y之间的相似性。那么2-范数越小,自然相似性就比较高了。

由此,我们可以写出最小二乘法的定义了:

对于给定的数据 最小二乘法及其python实现详解 ,在取定的假设空间H中,求解h(x)∈H,使得残差 最小二乘法及其python实现详解 的2-范数最小,即

最小二乘法及其python实现详解

从几何上讲,就是寻找与给定点 最小二乘法及其python实现详解 距离平方和最小的曲线y=h(x)。h(x)称为拟合函数或者最小二乘解,求解拟合函数h(x)的方法称为曲线拟合的最小二乘法。

那么这里的h(x)到底应该长什么样呢?一般情况下,这是一条多项式曲线:

最小二乘法及其python实现详解

这里h(x,w)是一个n次多项式,w是其参数。

也就是说,最小二乘法就是要找到这样一组 最小二乘法及其python实现详解 ,使得 最小二乘法及其python实现详解 最小。

那么如何找到这样的w,使得其拟合函数h(x)与目标函数y具有最高拟合程度呢?即最小二乘法如何求解呢,这才是关键啊。

假设我们的拟合函数是一个线性函数,即:

最小二乘法及其python实现详解

(当然,也可以是二次函数,或者更高维的函数,这里仅仅是作为求解范例,所以采用了最简单的线性函数)那么我们的目标就是找到这样的w,

最小二乘法及其python实现详解

这里令 最小二乘法及其python实现详解 为样本 最小二乘法及其python实现详解 的平方损失函数

这里的Q(w)即为我们要进行最优化的风险函数。

学过微积分的同学应该比较清楚,这是一个典型的求解极值的问题,只需要分别对 18 求偏导数,然后令偏导数为0,即可求解出极值点,即:

最小二乘法及其python实现详解

接下来只需要求解这个方程组即可解出w_i 的值

============ 分割分割 =============

上面我们讲解了什么是最小二乘法,以及如何求解最小二乘解,下面我们将通过Python来实现最小二乘法。

这里我们把目标函数选为y=sin(2πx),叠加上一个正态分布作为噪音干扰,然后使用多项式分布去拟合它。

代码:

# _*_ coding: utf-8 _*_
# 作者: yhao
# 博客: http://blog.csdn.net/yhao2014
# 邮箱: yanhao07@sina.com
 
import numpy as np # 引入numpy
import scipy as sp
import pylab as pl
from scipy.optimize import leastsq # 引入最小二乘函数
 
n = 9 # 多项式次数
 
 
# 目标函数
def real_func(x):
 return np.sin(2 * np.pi * x)
 
 
# 多项式函数
def fit_func(p, x):
 f = np.poly1d(p)
 return f(x)
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 return ret
 
 
x = np.linspace(0, 1, 9) # 随机选择9个点作为x
x_points = np.linspace(0, 1, 1000) # 画图时需要的连续点
 
y0 = real_func(x) # 目标函数
y1 = [np.random.normal(0, 0.1) + y for y in y0] # 添加正太分布噪声后的函数
 
p_init = np.random.randn(n) # 随机初始化多项式参数
 
plsq = leastsq(residuals_func, p_init, args=(y1, x))
 
print 'Fitting Parameters: ', plsq[0] # 输出拟合参数
 
pl.plot(x_points, real_func(x_points), label='real')
pl.plot(x_points, fit_func(plsq[0], x_points), label='fitted curve')
pl.plot(x, y1, 'bo', label='with noise')
pl.legend()
pl.show()

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

从图像上看,很明显我们的拟合函数过拟合了,下面我们尝试在风险函数的基础上加上正则化项,来降低过拟合的现象:

最小二乘法及其python实现详解

为此,我们只需要在残差函数中将lambda^(1/2)p加在了返回的array的后面

regularization = 0.1 # 正则化系数lambda
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 ret = np.append(ret, np.sqrt(regularization) * p) # 将lambda^(1/2)p加在了返回的array的后面
 return ret

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

很明显,在适当的正则化约束下,可以比较好的拟合目标函数。

注意,如果正则化项的系数太大,会导致欠拟合现象(此时的惩罚项权重特别高)

如,设置regularization=0.1时,图像如下:

最小二乘法及其python实现详解

此时明显欠拟合。所以要慎重进行正则化参数的选择。

以上这篇最小二乘法及其python实现详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
记录Django开发心得
Jul 16 Python
Python读取mp3中ID3信息的方法
Mar 05 Python
Python中的面向对象编程详解(下)
Apr 13 Python
Python基础教程之浅拷贝和深拷贝实例详解
Jul 15 Python
Python编程图形库之Pillow使用方法讲解
Dec 28 Python
python正则表达式匹配不包含某几个字符的字符串方法
Jul 23 Python
python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
Sep 05 Python
pytorch中获取模型input/output shape实例
Dec 30 Python
基于FME使用Python过程图解
May 13 Python
python如何写出表白程序
Jun 01 Python
python Protobuf定义消息类型知识点讲解
Mar 02 Python
python如何利用cv2.rectangle()绘制矩形框
Dec 24 Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
用python介绍4种常用的单链表翻转的方法小结
Feb 24 #Python
关于多元线性回归分析——Python&SPSS
Feb 24 #Python
使用 pytorch 创建神经网络拟合sin函数的实现
Feb 24 #Python
You might like
windows中为php安装mongodb与memcache
2015/01/06 PHP
php开发微信支付获取用户地址
2015/10/04 PHP
PHP中Socket连接及读写数据超时问题分析
2016/07/19 PHP
JS中confirm,alert,prompt函数使用区别分析
2010/04/01 Javascript
javascript中运用闭包和自执行函数解决大量的全局变量问题
2010/12/30 Javascript
jquery blockUI 遮罩不能消失与不能提交的解决方法
2011/09/17 Javascript
如何使用jQuery Draggable和Droppable实现拖拽功能
2013/07/05 Javascript
jquery实现图片灯箱明暗的遮罩效果
2013/11/15 Javascript
整理AngularJS中的一些常用指令
2015/06/16 Javascript
jQuery.form插件的使用及跨域异步上传文件
2016/04/27 Javascript
AngularJs expression详解及简单示例
2016/09/01 Javascript
Bootstrap实现提示框和弹出框效果
2017/01/11 Javascript
微信小程序利用canvas 绘制幸运大转盘功能
2018/07/06 Javascript
怎样在vue项目下添加ESLint的方法
2019/05/16 Javascript
详解vue项目中实现图片裁剪功能
2019/06/07 Javascript
使用kbone解决Vue项目同时支持小程序问题
2019/11/08 Javascript
解决Vue大括号字符换行踩的坑
2020/11/09 Javascript
[01:20:37]FNATIC vs NIP 2019国际邀请赛小组赛 BO2 第一场 8.16
2019/08/19 DOTA
Python交换变量
2008/09/06 Python
Python发送以整个文件夹的内容为附件的邮件的教程
2015/05/06 Python
python实现维吉尼亚算法
2019/03/20 Python
python实现随机加减法生成器
2020/02/24 Python
Python+Appium实现自动化测试的使用步骤
2020/03/24 Python
python 如何使用find和find_all爬虫、找文本的实现
2020/10/16 Python
Big Green Smile德国网上商店:提供各种天然产品
2018/05/23 全球购物
俄罗斯在线手表和珠宝商店:AllTime
2019/09/28 全球购物
美国基督教约会网站:ChristianCafe.com
2020/02/04 全球购物
美国电子产品购物网站:BuyDig.com
2020/06/17 全球购物
工作违纪检讨书
2014/02/17 职场文书
2014年医学生毕业自我鉴定
2014/03/26 职场文书
幼儿园毕业寄语
2014/04/03 职场文书
宣传部部长竞选演讲稿
2014/04/26 职场文书
和谐家庭演讲稿
2014/05/24 职场文书
好员工观后感
2015/06/17 职场文书
ORM模型框架操作mysql数据库的方法
2021/07/25 MySQL
ajax请求前端跨域问题原因及解决方案
2021/10/16 Javascript