Python中实现最小二乘法思路及实现代码


Posted in Python onJanuary 04, 2018

之所以说”使用”而不是”实现”,是因为python的相关类库已经帮我们实现了具体算法,而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累,当类库中的算法已经无法满足自身需求的时候,我们也可以尝试通过自己的方式实现各种算法。

言归正传,什么是”最小二乘法”呢?

定义:最小二乘法(又称最小平方法)是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。

作用:利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

原则:以”残差平方和最小”确定直线位置(在数理统计中,残差是指实际观察值与估计值之间的差)

数学公式:

Python中实现最小二乘法思路及实现代码

基本思路:对于一元线性回归模型,假设从总体中获取了n组观察值(X1,Y1),(X2,Y2),…,(Xn,Yn),对于平面中的这n个点,可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值,也就是说,这条直线应该尽可能的处于样本数据的中心位置。因此,选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。

实现代码如下,代码中已经详细的给了注释:

##最小二乘法
import numpy as np  ##科学计算库 
import scipy as sp  ##在numpy基础上实现的部分算法库
import matplotlib.pyplot as plt ##绘图库
from scipy.optimize import leastsq ##引入最小二乘法算法

'''
   设置样本数据,真实数据需要在这里处理
'''
##样本数据(Xi,Yi),需要转换成数组(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
  设定拟合函数和偏差函数
  函数的形状确定过程:
  1.先画样本图像
  2.根据样本图像大致形状确定函数形式(直线、抛物线、正弦余弦等)
'''

##需要拟合的函数func :指定函数的形状
def func(p,x):
  k,b=p
  return k*x+b

##偏差函数:x,y都是列表:这里的x,y更上面的Xi,Yi中是一一对应的
def error(p,x,y):
  return func(p,x)-y

'''
  主要部分:附带部分说明
  1.leastsq函数的返回值tuple,第一个元素是求解结果,第二个是求解的代价值(个人理解)
  2.官网的原话(第二个值):Value of the cost function at the solution
  3.实例:Para=>(array([ 0.61349535, 1.79409255]), 3)
  4.返回值元组中第一个值的数量跟需要求解的参数的数量一致
'''

#k,b的初始值,可以任意设定,经过几次试验,发现p0的值会影响cost的值:Para[1]
p0=[1,20]

#把error函数中除了p0以外的参数打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#读取结果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost:"+str(Para[1]))
print("求解的拟合直线为:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
  绘图,看拟合效果.
  matplotlib默认不支持中文,label设置中文的话需要另行设置
  如果报错,改成英文就可以
'''

#画样本点
plt.figure(figsize=(8,6)) ##指定图像比例: 8:6
plt.scatter(Xi,Yi,color="green",label="样本数据",linewidth=2) 

#画拟合直线
x=np.linspace(0,12,100) ##在0-15直接画100个连续点
y=k*x+b ##函数式
plt.plot(x,y,color="red",label="拟合直线",linewidth=2) 
plt.legend(loc='lower right') #绘制图例
plt.show()

结果如下所示:

输出结果:

k= 0.900458420439 b= 0.831055638877
cost:1
求解的拟合直线为:
y=0.9x+0.83

绘图结果:

Python中实现最小二乘法思路及实现代码

补充说明:简单的列举了直线的情况,曲线的求解方式类似,但是曲线会存在过度拟合的情况,在以后的博客中会讲到。

总结

以上就是本文关于Python中实现最小二乘法思路及实现代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
在Python中测试访问同一数据的竞争条件的方法
Apr 23 Python
python实现同时给多个变量赋值的方法
Apr 30 Python
详解Python中expandtabs()方法的使用
May 18 Python
深入浅析ImageMagick命令执行漏洞
Oct 11 Python
python的继承知识点总结
Dec 10 Python
将Python字符串生成PDF的实例代码详解
May 17 Python
numpy linalg模块的具体使用方法
May 26 Python
python标准库os库的函数介绍
Feb 12 Python
python turtle工具绘制四叶草的实例分享
Feb 14 Python
python两种注释用法的示例
Oct 09 Python
Python使用scapy模块发包收包
May 07 Python
python中pd.cut()与pd.qcut()的对比及示例
Jun 16 Python
Python找出最小的K个数实例代码
Jan 04 #Python
Python编程把二叉树打印成多行代码
Jan 04 #Python
2018年Python值得关注的开源库、工具和开发者(总结篇)
Jan 04 #Python
Win7下Python与Tensorflow-CPU版开发环境的安装与配置过程
Jan 04 #Python
教你用 Python 实现微信跳一跳(Mac+iOS版)
Jan 04 #Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 #Python
python实现简易云音乐播放器
Jan 04 #Python
You might like
PHP怎样调用MSSQL的存储过程
2006/10/09 PHP
PHP 数组入门教程小结
2009/05/20 PHP
linux系统上支持php的 iconv()函数的方法
2011/10/01 PHP
PHP求小于1000的所有水仙花数的代码
2012/01/10 PHP
mysql总结之explain
2012/02/27 PHP
解析PHP跳出循环的方法以及continue、break、exit的区别介绍
2013/07/01 PHP
浅谈discuz密码加密的方式
2014/05/22 PHP
PHP经典面试题集锦
2015/03/19 PHP
PHP基本语法实例总结
2016/09/09 PHP
PHP针对中英文混合字符串长度判断及截取方法示例
2017/03/31 PHP
laravel migrate初学常见错误的解决方法
2017/10/11 PHP
用Js实现的动态增加表格示例自己写的
2013/10/21 Javascript
js实现字符串和数组之间相互转换操作
2016/01/12 Javascript
快速掌握Node.js模块封装及使用
2016/03/21 Javascript
js oncontextmenu事件使用详解
2017/03/25 Javascript
JS设计模式之单例模式(一)
2017/09/29 Javascript
vue解决跨域路由冲突问题思路解析
2017/11/03 Javascript
AngularJs 终极购物车(实例讲解)
2017/11/08 Javascript
js解决软键盘遮挡输入框的问题分享
2017/12/19 Javascript
JS常见DOM节点操作示例【创建 ,插入,删除,复制,查找】
2018/05/14 Javascript
Nodejs实现用户注册功能
2019/04/14 NodeJs
vue项目中播放rtmp视频文件流的方法
2020/09/17 Javascript
Python 的 with 语句详解
2014/06/13 Python
Python在线运行代码助手
2016/07/15 Python
浅谈Django学习migrate和makemigrations的差别
2018/01/18 Python
用Python写脚本,实现完全备份和增量备份的示例
2018/04/29 Python
python画图——实现在图上标注上具体数值的方法
2019/07/08 Python
Python爬虫与反爬虫大战
2020/07/30 Python
Html5 APP中监听返回事件处理的方法示例
2018/03/15 HTML / CSS
美丽的现代设计家具:2Modern
2018/07/26 全球购物
Unix如何在一行中运行多个命令
2015/05/29 面试题
中专生自荐信
2014/06/25 职场文书
公司市场专员岗位职责
2014/06/29 职场文书
刘公岛导游词
2015/02/05 职场文书
超级礼物观后感
2015/06/15 职场文书
Python字符串格式化方式
2022/04/07 Python