最小二乘法及其python实现详解


Posted in Python onFebruary 24, 2020

最小二乘法Least Square Method,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出)。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

那什么是最小二乘法呢?别着急,我们先从几个简单的概念说起。

假设我们现在有一系列的数据点 最小二乘法及其python实现详解 ,那么由我们给出的拟合函数h(x)得到的估计量就是 最小二乘法及其python实现详解 ,那么怎么评估我们给出的拟合函数与实际待求解的函数的拟合程度比较高呢?这里我们先定义一个概念:残差 最小二乘法及其python实现详解 , 我们估计拟合程度都是在残差的基础上进行的。下面再介绍三种范数:

• ∞-范数:残差绝对值的最大值 最小二乘法及其python实现详解 ,即所有数据点中残差距离的最大值

• 1-范数:绝对残差和最小二乘法及其python实现详解 ,即所有数据点残差距离之和

• 2-范数:残差平方和 最小二乘法及其python实现详解

前两种范数是最容易想到,最自然的,但是不利于进行微分运算,在数据量很大的情况下计算量太大,不具有可操作性。因此一般使用的是2-范数。

说了这么多,那范数和拟合有什么关系呢?拟合程度,用通俗的话来讲,就是我们的拟合函数h(x)与待求解的函数y之间的相似性。那么2-范数越小,自然相似性就比较高了。

由此,我们可以写出最小二乘法的定义了:

对于给定的数据 最小二乘法及其python实现详解 ,在取定的假设空间H中,求解h(x)∈H,使得残差 最小二乘法及其python实现详解 的2-范数最小,即

最小二乘法及其python实现详解

从几何上讲,就是寻找与给定点 最小二乘法及其python实现详解 距离平方和最小的曲线y=h(x)。h(x)称为拟合函数或者最小二乘解,求解拟合函数h(x)的方法称为曲线拟合的最小二乘法。

那么这里的h(x)到底应该长什么样呢?一般情况下,这是一条多项式曲线:

最小二乘法及其python实现详解

这里h(x,w)是一个n次多项式,w是其参数。

也就是说,最小二乘法就是要找到这样一组 最小二乘法及其python实现详解 ,使得 最小二乘法及其python实现详解 最小。

那么如何找到这样的w,使得其拟合函数h(x)与目标函数y具有最高拟合程度呢?即最小二乘法如何求解呢,这才是关键啊。

假设我们的拟合函数是一个线性函数,即:

最小二乘法及其python实现详解

(当然,也可以是二次函数,或者更高维的函数,这里仅仅是作为求解范例,所以采用了最简单的线性函数)那么我们的目标就是找到这样的w,

最小二乘法及其python实现详解

这里令 最小二乘法及其python实现详解 为样本 最小二乘法及其python实现详解 的平方损失函数

这里的Q(w)即为我们要进行最优化的风险函数。

学过微积分的同学应该比较清楚,这是一个典型的求解极值的问题,只需要分别对 18 求偏导数,然后令偏导数为0,即可求解出极值点,即:

最小二乘法及其python实现详解

接下来只需要求解这个方程组即可解出w_i 的值

============ 分割分割 =============

上面我们讲解了什么是最小二乘法,以及如何求解最小二乘解,下面我们将通过Python来实现最小二乘法。

这里我们把目标函数选为y=sin(2πx),叠加上一个正态分布作为噪音干扰,然后使用多项式分布去拟合它。

代码:

# _*_ coding: utf-8 _*_
# 作者: yhao
# 博客: http://blog.csdn.net/yhao2014
# 邮箱: yanhao07@sina.com
 
import numpy as np # 引入numpy
import scipy as sp
import pylab as pl
from scipy.optimize import leastsq # 引入最小二乘函数
 
n = 9 # 多项式次数
 
 
# 目标函数
def real_func(x):
 return np.sin(2 * np.pi * x)
 
 
# 多项式函数
def fit_func(p, x):
 f = np.poly1d(p)
 return f(x)
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 return ret
 
 
x = np.linspace(0, 1, 9) # 随机选择9个点作为x
x_points = np.linspace(0, 1, 1000) # 画图时需要的连续点
 
y0 = real_func(x) # 目标函数
y1 = [np.random.normal(0, 0.1) + y for y in y0] # 添加正太分布噪声后的函数
 
p_init = np.random.randn(n) # 随机初始化多项式参数
 
plsq = leastsq(residuals_func, p_init, args=(y1, x))
 
print 'Fitting Parameters: ', plsq[0] # 输出拟合参数
 
pl.plot(x_points, real_func(x_points), label='real')
pl.plot(x_points, fit_func(plsq[0], x_points), label='fitted curve')
pl.plot(x, y1, 'bo', label='with noise')
pl.legend()
pl.show()

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

从图像上看,很明显我们的拟合函数过拟合了,下面我们尝试在风险函数的基础上加上正则化项,来降低过拟合的现象:

最小二乘法及其python实现详解

为此,我们只需要在残差函数中将lambda^(1/2)p加在了返回的array的后面

regularization = 0.1 # 正则化系数lambda
 
 
# 残差函数
def residuals_func(p, y, x):
 ret = fit_func(p, x) - y
 ret = np.append(ret, np.sqrt(regularization) * p) # 将lambda^(1/2)p加在了返回的array的后面
 return ret

输出拟合参数:

最小二乘法及其python实现详解

图像如下:

最小二乘法及其python实现详解

很明显,在适当的正则化约束下,可以比较好的拟合目标函数。

注意,如果正则化项的系数太大,会导致欠拟合现象(此时的惩罚项权重特别高)

如,设置regularization=0.1时,图像如下:

最小二乘法及其python实现详解

此时明显欠拟合。所以要慎重进行正则化参数的选择。

以上这篇最小二乘法及其python实现详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python比较两个列表是否相等的方法
Jul 28 Python
Python控制多进程与多线程并发数总结
Oct 26 Python
简单谈谈Python中的元祖(Tuple)和字典(Dict)
Apr 21 Python
Python中执行存储过程及获取存储过程返回值的方法
Oct 07 Python
python 用opencv调用训练好的模型进行识别的方法
Dec 07 Python
Python Django框架实现应用添加logging日志操作示例
May 17 Python
Python3 串口接收与发送16进制数据包的实例
Jun 12 Python
python挖矿算力测试程序详解
Jul 03 Python
Python实现滑动平均(Moving Average)的例子
Aug 24 Python
Python脚本操作Excel实现批量替换功能
Nov 20 Python
python序列化与数据持久化实例详解
Dec 20 Python
Pyspark读取parquet数据过程解析
Mar 27 Python
在Python 的线程中运行协程的方法
Feb 24 #Python
Python 爬取必应壁纸的实例讲解
Feb 24 #Python
Python unittest工作原理和使用过程解析
Feb 24 #Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 #Python
用python介绍4种常用的单链表翻转的方法小结
Feb 24 #Python
关于多元线性回归分析——Python&SPSS
Feb 24 #Python
使用 pytorch 创建神经网络拟合sin函数的实现
Feb 24 #Python
You might like
解析php中如何直接执行SHELL
2013/06/28 PHP
ThinkPHP在Cli模式下使用模板引擎的方法
2015/09/25 PHP
PHP目录与文件操作技巧总结(创建,删除,遍历,读写,修改等)
2016/09/11 PHP
Laravel6.2中用于用户登录的新密码确认流程详解
2019/10/16 PHP
创建一个复制UBB软件信息的链接或按钮的js代码
2008/01/06 Javascript
不懂JavaScript应该怎样学
2008/04/16 Javascript
JavaScript 组件之旅(四):测试 JavaScript 组件
2009/10/28 Javascript
jQuery 通过事件委派一次绑定多种事件,以减少事件冗余
2010/06/30 Javascript
解析DHTML,JavaScript,DOM,BOM以及WEB标准的描述
2013/06/19 Javascript
javascript实现了照片拖拽点击置顶的照片墙代码
2015/04/03 Javascript
jQuery插件zTree实现的基本树与节点获取操作示例
2017/03/08 Javascript
EasyUI在Panel上动态添加LinkButton按钮
2017/08/11 Javascript
form表单序列化详解(推荐)
2017/08/15 Javascript
详解vue-cli 构建Vue项目遇到的坑
2017/08/30 Javascript
vue中datepicker的使用教程实例代码详解
2019/07/08 Javascript
vue使用showdown并实现代码区域高亮的示例代码
2019/10/17 Javascript
Object.keys() 和 Object.getOwnPropertyNames() 的区别详解
2020/05/21 Javascript
微信小程序自定义扫码功能界面的实现代码
2020/07/02 Javascript
[01:44]Ti10举办地公布
2019/08/25 DOTA
Python 3中print函数的使用方法总结
2017/08/08 Python
python时间日期函数与利用pandas进行时间序列处理详解
2018/03/13 Python
python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别
2018/06/04 Python
python中报错"json.decoder.JSONDecodeError: Expecting value:"的解决
2019/04/29 Python
python 视频逐帧保存为图片的完整实例
2019/12/10 Python
django xadmin中form_layout添加字段显示方式
2020/03/30 Python
Selenium+BeautifulSoup+json获取Script标签内的json数据
2020/12/07 Python
类和结构的区别
2012/08/15 面试题
售后服务承诺书
2014/03/26 职场文书
员工工作表现评语
2014/04/26 职场文书
小学师德标兵先进事迹材料
2014/05/25 职场文书
婚礼答谢礼品
2015/01/20 职场文书
公司股份转让协议书范本
2015/01/28 职场文书
毕业酒会致辞
2015/07/29 职场文书
Django 实现jwt认证的示例
2021/04/30 Python
MongoDB日志切割的三种方式总结
2021/09/15 MongoDB
SQL CASE 表达式的具体使用
2022/03/21 SQL Server