Python中实现最小二乘法思路及实现代码


Posted in Python onJanuary 04, 2018

之所以说”使用”而不是”实现”,是因为python的相关类库已经帮我们实现了具体算法,而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累,当类库中的算法已经无法满足自身需求的时候,我们也可以尝试通过自己的方式实现各种算法。

言归正传,什么是”最小二乘法”呢?

定义:最小二乘法(又称最小平方法)是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。

作用:利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

原则:以”残差平方和最小”确定直线位置(在数理统计中,残差是指实际观察值与估计值之间的差)

数学公式:

Python中实现最小二乘法思路及实现代码

基本思路:对于一元线性回归模型,假设从总体中获取了n组观察值(X1,Y1),(X2,Y2),…,(Xn,Yn),对于平面中的这n个点,可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值,也就是说,这条直线应该尽可能的处于样本数据的中心位置。因此,选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。

实现代码如下,代码中已经详细的给了注释:

##最小二乘法
import numpy as np  ##科学计算库 
import scipy as sp  ##在numpy基础上实现的部分算法库
import matplotlib.pyplot as plt ##绘图库
from scipy.optimize import leastsq ##引入最小二乘法算法

'''
   设置样本数据,真实数据需要在这里处理
'''
##样本数据(Xi,Yi),需要转换成数组(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
  设定拟合函数和偏差函数
  函数的形状确定过程:
  1.先画样本图像
  2.根据样本图像大致形状确定函数形式(直线、抛物线、正弦余弦等)
'''

##需要拟合的函数func :指定函数的形状
def func(p,x):
  k,b=p
  return k*x+b

##偏差函数:x,y都是列表:这里的x,y更上面的Xi,Yi中是一一对应的
def error(p,x,y):
  return func(p,x)-y

'''
  主要部分:附带部分说明
  1.leastsq函数的返回值tuple,第一个元素是求解结果,第二个是求解的代价值(个人理解)
  2.官网的原话(第二个值):Value of the cost function at the solution
  3.实例:Para=>(array([ 0.61349535, 1.79409255]), 3)
  4.返回值元组中第一个值的数量跟需要求解的参数的数量一致
'''

#k,b的初始值,可以任意设定,经过几次试验,发现p0的值会影响cost的值:Para[1]
p0=[1,20]

#把error函数中除了p0以外的参数打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#读取结果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost:"+str(Para[1]))
print("求解的拟合直线为:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
  绘图,看拟合效果.
  matplotlib默认不支持中文,label设置中文的话需要另行设置
  如果报错,改成英文就可以
'''

#画样本点
plt.figure(figsize=(8,6)) ##指定图像比例: 8:6
plt.scatter(Xi,Yi,color="green",label="样本数据",linewidth=2) 

#画拟合直线
x=np.linspace(0,12,100) ##在0-15直接画100个连续点
y=k*x+b ##函数式
plt.plot(x,y,color="red",label="拟合直线",linewidth=2) 
plt.legend(loc='lower right') #绘制图例
plt.show()

结果如下所示:

输出结果:

k= 0.900458420439 b= 0.831055638877
cost:1
求解的拟合直线为:
y=0.9x+0.83

绘图结果:

Python中实现最小二乘法思路及实现代码

补充说明:简单的列举了直线的情况,曲线的求解方式类似,但是曲线会存在过度拟合的情况,在以后的博客中会讲到。

总结

以上就是本文关于Python中实现最小二乘法思路及实现代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
跟老齐学Python之深入变量和引用对象
Sep 24 Python
Python实现CET查分的方法
Mar 10 Python
python使用pil生成图片验证码的方法
May 08 Python
Python通过90行代码搭建一个音乐搜索工具
Jul 29 Python
Python单元测试与测试用例简析
Nov 09 Python
Flask 上传自定义头像的实例详解
Jan 09 Python
pytorch 使用加载训练好的模型做inference
Feb 20 Python
Python实现一个优先级队列的方法
Jul 31 Python
如何利用python之wxpy模块玩转微信
Aug 17 Python
详解基于python的全局与局部序列比对的实现(DNA)
Oct 07 Python
python输出国际象棋棋盘的实例分享
Nov 26 Python
python语言中pandas字符串分割str.split()函数
Aug 05 Python
Python找出最小的K个数实例代码
Jan 04 #Python
Python编程把二叉树打印成多行代码
Jan 04 #Python
2018年Python值得关注的开源库、工具和开发者(总结篇)
Jan 04 #Python
Win7下Python与Tensorflow-CPU版开发环境的安装与配置过程
Jan 04 #Python
教你用 Python 实现微信跳一跳(Mac+iOS版)
Jan 04 #Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 #Python
python实现简易云音乐播放器
Jan 04 #Python
You might like
PHP序列号生成函数和字符串替换函数代码
2012/06/07 PHP
php常量详细解析
2015/10/27 PHP
PHPExcel实现表格导出功能示例【带有多个工作sheet】
2018/06/13 PHP
小议Function.apply() 之一------(函数的劫持与对象的复制)
2006/11/30 Javascript
基于jQuery实现的当离开页面时出现提示的实现代码
2011/06/27 Javascript
JavaScript实现列表分页功能特效
2015/05/15 Javascript
JS实现选择TextArea内文本的方法
2015/08/03 Javascript
chrome调试javascript详解
2015/10/21 Javascript
详解JavaScript中基于原型prototype的继承特性
2016/05/05 Javascript
jQuery实现的导航下拉菜单效果示例
2016/09/05 Javascript
手机浏览器 后退按钮强制刷新页面方法总结
2016/10/09 Javascript
Node.js使用Express.Router的方法
2017/11/14 Javascript
JS中Map和ForEach的区别
2018/02/05 Javascript
Bootstrap实现可折叠分组侧边导航菜单
2018/03/07 Javascript
vue.js 图片上传并预览及图片更换功能的实现代码
2018/08/27 Javascript
Vue中的vue-resource示例详解
2018/11/02 Javascript
详解webpack4之splitchunksPlugin代码包分拆
2018/12/04 Javascript
layui radio点击事件实现input显示和隐藏的例子
2019/09/02 Javascript
在vue中使用echars实现上浮与下钻效果
2019/11/08 Javascript
用Python中的字典来处理索引统计的方法
2015/05/05 Python
linux平台使用Python制作BT种子并获取BT种子信息的方法
2017/01/20 Python
python flask中静态文件的管理方法
2018/03/20 Python
PyQt5 实现给窗口设置背景图片的方法
2019/06/13 Python
使用Python爬虫库requests发送表单数据和JSON数据
2020/01/25 Python
TensorFlow实现自定义Op方式
2020/02/04 Python
python爬虫库scrapy简单使用实例详解
2020/02/10 Python
基于python和flask实现http接口过程解析
2020/06/15 Python
关于CSS Tooltips(鼠标经过时显示)的效果
2013/04/10 HTML / CSS
两种CSS3伪类选择器详细介绍
2013/12/24 HTML / CSS
Sofft鞋官网:世界知名鞋类品牌
2017/03/28 全球购物
法国娇韵诗官方旗舰店:Clarins是来自法国的天然护肤品牌
2018/06/30 全球购物
大学生毕业的自我鉴定
2013/11/13 职场文书
经济担保书范文
2014/04/02 职场文书
呼兰河传读书笔记
2015/06/30 职场文书
win10+anaconda安装yolov5的方法及问题解决方案
2021/04/29 Python