Python中实现最小二乘法思路及实现代码


Posted in Python onJanuary 04, 2018

之所以说”使用”而不是”实现”,是因为python的相关类库已经帮我们实现了具体算法,而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累,当类库中的算法已经无法满足自身需求的时候,我们也可以尝试通过自己的方式实现各种算法。

言归正传,什么是”最小二乘法”呢?

定义:最小二乘法(又称最小平方法)是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。

作用:利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

原则:以”残差平方和最小”确定直线位置(在数理统计中,残差是指实际观察值与估计值之间的差)

数学公式:

Python中实现最小二乘法思路及实现代码

基本思路:对于一元线性回归模型,假设从总体中获取了n组观察值(X1,Y1),(X2,Y2),…,(Xn,Yn),对于平面中的这n个点,可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值,也就是说,这条直线应该尽可能的处于样本数据的中心位置。因此,选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。

实现代码如下,代码中已经详细的给了注释:

##最小二乘法
import numpy as np  ##科学计算库 
import scipy as sp  ##在numpy基础上实现的部分算法库
import matplotlib.pyplot as plt ##绘图库
from scipy.optimize import leastsq ##引入最小二乘法算法

'''
   设置样本数据,真实数据需要在这里处理
'''
##样本数据(Xi,Yi),需要转换成数组(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
  设定拟合函数和偏差函数
  函数的形状确定过程:
  1.先画样本图像
  2.根据样本图像大致形状确定函数形式(直线、抛物线、正弦余弦等)
'''

##需要拟合的函数func :指定函数的形状
def func(p,x):
  k,b=p
  return k*x+b

##偏差函数:x,y都是列表:这里的x,y更上面的Xi,Yi中是一一对应的
def error(p,x,y):
  return func(p,x)-y

'''
  主要部分:附带部分说明
  1.leastsq函数的返回值tuple,第一个元素是求解结果,第二个是求解的代价值(个人理解)
  2.官网的原话(第二个值):Value of the cost function at the solution
  3.实例:Para=>(array([ 0.61349535, 1.79409255]), 3)
  4.返回值元组中第一个值的数量跟需要求解的参数的数量一致
'''

#k,b的初始值,可以任意设定,经过几次试验,发现p0的值会影响cost的值:Para[1]
p0=[1,20]

#把error函数中除了p0以外的参数打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#读取结果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost:"+str(Para[1]))
print("求解的拟合直线为:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
  绘图,看拟合效果.
  matplotlib默认不支持中文,label设置中文的话需要另行设置
  如果报错,改成英文就可以
'''

#画样本点
plt.figure(figsize=(8,6)) ##指定图像比例: 8:6
plt.scatter(Xi,Yi,color="green",label="样本数据",linewidth=2) 

#画拟合直线
x=np.linspace(0,12,100) ##在0-15直接画100个连续点
y=k*x+b ##函数式
plt.plot(x,y,color="red",label="拟合直线",linewidth=2) 
plt.legend(loc='lower right') #绘制图例
plt.show()

结果如下所示:

输出结果:

k= 0.900458420439 b= 0.831055638877
cost:1
求解的拟合直线为:
y=0.9x+0.83

绘图结果:

Python中实现最小二乘法思路及实现代码

补充说明:简单的列举了直线的情况,曲线的求解方式类似,但是曲线会存在过度拟合的情况,在以后的博客中会讲到。

总结

以上就是本文关于Python中实现最小二乘法思路及实现代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python实现简易版计算器
Jun 22 Python
对Python中range()函数和list的比较
Apr 19 Python
关于python列表增加元素的三种操作方法
Aug 22 Python
Python二叉搜索树与双向链表转换算法示例
Mar 02 Python
python getopt模块使用实例解析
Dec 18 Python
Python接口测试文件上传实例解析
May 22 Python
python是怎么被发明的
Jun 15 Python
python使用自定义钉钉机器人的示例代码
Jun 24 Python
如何使用python socket模块实现简单的文件下载
Sep 04 Python
Python基于callable函数检测对象是否可被调用
Oct 16 Python
Python用摘要算法生成token及检验token的示例代码
Dec 01 Python
python实现定时发送邮件
Dec 23 Python
Python找出最小的K个数实例代码
Jan 04 #Python
Python编程把二叉树打印成多行代码
Jan 04 #Python
2018年Python值得关注的开源库、工具和开发者(总结篇)
Jan 04 #Python
Win7下Python与Tensorflow-CPU版开发环境的安装与配置过程
Jan 04 #Python
教你用 Python 实现微信跳一跳(Mac+iOS版)
Jan 04 #Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 #Python
python实现简易云音乐播放器
Jan 04 #Python
You might like
PHP删除HTMl标签的实现代码
2013/06/30 PHP
PHP SplObjectStorage使用实例
2015/05/12 PHP
遍历jquery对象的代码分享
2011/11/02 Javascript
js实现日历可获得指定日期周数及星期几示例分享(js获取星期几)
2014/03/14 Javascript
使用insertAfter()方法在现有元素后添加一个新元素
2014/05/28 Javascript
JSONP跨域GET请求解决Ajax跨域访问问题
2014/12/31 Javascript
JavaScript弹出新窗口后向父窗口输出内容的方法
2015/04/06 Javascript
深入分析Javascript跨域问题
2015/04/17 Javascript
javascript函数命名的三种方式及区别介绍
2016/03/22 Javascript
简单封装js的dom查询实例代码
2016/07/08 Javascript
基于BootStrap的前端分页带省略号和上下页效果
2017/05/18 Javascript
vue-cli如何引入bootstrap工具的方法
2017/10/19 Javascript
深入浅析Vue中的Prop
2018/06/10 Javascript
JavaScript中 ES6变量的结构赋值
2018/07/10 Javascript
Vue中的$set的使用实例代码
2018/10/08 Javascript
JS时间戳与日期格式互相转换的简单方法示例
2021/01/30 Javascript
nodejs+express最简易的连接数据库的方法
2020/12/23 NodeJs
[01:19:23]2018DOTA2亚洲邀请赛 4.5 淘汰赛 Mineski vs VG 第二场
2018/04/06 DOTA
[58:59]完美世界DOTA2联赛PWL S3 access vs CPG 第一场 12.13
2020/12/16 DOTA
Python中的字符串类型基本知识学习教程
2016/02/04 Python
PYTHON绘制雷达图代码实例
2019/10/15 Python
python numpy生成等差数列、等比数列的实例
2020/02/25 Python
django 获取字段最大值,最新的记录操作
2020/08/09 Python
Scrapy项目实战之爬取某社区用户详情
2020/09/17 Python
python time.strptime格式化实例详解
2021/02/03 Python
Html5实现用户注册自动校验功能实例代码
2016/05/24 HTML / CSS
戴森西班牙官网:Dyson西班牙
2020/02/04 全球购物
自荐信结尾
2013/10/27 职场文书
时尚休闲吧创业计划书
2014/01/25 职场文书
临床护士自荐信
2014/01/31 职场文书
给孩子的新年寄语
2014/04/08 职场文书
幼儿园教研活动总结
2014/04/30 职场文书
民事诉讼代理授权委托书范本
2014/10/08 职场文书
Python中json.dumps()函数的使用解析
2021/05/17 Python
Python实现位图分割的效果
2021/11/20 Python
Win11怎么启动任务管理器?Win11启动任务管理器的几种方法
2021/11/23 数码科技