Python中实现最小二乘法思路及实现代码


Posted in Python onJanuary 04, 2018

之所以说”使用”而不是”实现”,是因为python的相关类库已经帮我们实现了具体算法,而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累,当类库中的算法已经无法满足自身需求的时候,我们也可以尝试通过自己的方式实现各种算法。

言归正传,什么是”最小二乘法”呢?

定义:最小二乘法(又称最小平方法)是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。

作用:利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

原则:以”残差平方和最小”确定直线位置(在数理统计中,残差是指实际观察值与估计值之间的差)

数学公式:

Python中实现最小二乘法思路及实现代码

基本思路:对于一元线性回归模型,假设从总体中获取了n组观察值(X1,Y1),(X2,Y2),…,(Xn,Yn),对于平面中的这n个点,可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值,也就是说,这条直线应该尽可能的处于样本数据的中心位置。因此,选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。

实现代码如下,代码中已经详细的给了注释:

##最小二乘法
import numpy as np  ##科学计算库 
import scipy as sp  ##在numpy基础上实现的部分算法库
import matplotlib.pyplot as plt ##绘图库
from scipy.optimize import leastsq ##引入最小二乘法算法

'''
   设置样本数据,真实数据需要在这里处理
'''
##样本数据(Xi,Yi),需要转换成数组(列表)形式
Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])
Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])

'''
  设定拟合函数和偏差函数
  函数的形状确定过程:
  1.先画样本图像
  2.根据样本图像大致形状确定函数形式(直线、抛物线、正弦余弦等)
'''

##需要拟合的函数func :指定函数的形状
def func(p,x):
  k,b=p
  return k*x+b

##偏差函数:x,y都是列表:这里的x,y更上面的Xi,Yi中是一一对应的
def error(p,x,y):
  return func(p,x)-y

'''
  主要部分:附带部分说明
  1.leastsq函数的返回值tuple,第一个元素是求解结果,第二个是求解的代价值(个人理解)
  2.官网的原话(第二个值):Value of the cost function at the solution
  3.实例:Para=>(array([ 0.61349535, 1.79409255]), 3)
  4.返回值元组中第一个值的数量跟需要求解的参数的数量一致
'''

#k,b的初始值,可以任意设定,经过几次试验,发现p0的值会影响cost的值:Para[1]
p0=[1,20]

#把error函数中除了p0以外的参数打包到args中(使用要求)
Para=leastsq(error,p0,args=(Xi,Yi))

#读取结果
k,b=Para[0]
print("k=",k,"b=",b)
print("cost:"+str(Para[1]))
print("求解的拟合直线为:")
print("y="+str(round(k,2))+"x+"+str(round(b,2)))

'''
  绘图,看拟合效果.
  matplotlib默认不支持中文,label设置中文的话需要另行设置
  如果报错,改成英文就可以
'''

#画样本点
plt.figure(figsize=(8,6)) ##指定图像比例: 8:6
plt.scatter(Xi,Yi,color="green",label="样本数据",linewidth=2) 

#画拟合直线
x=np.linspace(0,12,100) ##在0-15直接画100个连续点
y=k*x+b ##函数式
plt.plot(x,y,color="red",label="拟合直线",linewidth=2) 
plt.legend(loc='lower right') #绘制图例
plt.show()

结果如下所示:

输出结果:

k= 0.900458420439 b= 0.831055638877
cost:1
求解的拟合直线为:
y=0.9x+0.83

绘图结果:

Python中实现最小二乘法思路及实现代码

补充说明:简单的列举了直线的情况,曲线的求解方式类似,但是曲线会存在过度拟合的情况,在以后的博客中会讲到。

总结

以上就是本文关于Python中实现最小二乘法思路及实现代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python简单文本处理的方法
Jul 10 Python
python实现SMTP邮件发送功能
Jun 16 Python
python爬取w3shcool的JQuery课程并且保存到本地
Apr 06 Python
使用python实现个性化词云的方法
Jun 16 Python
Python命令行解析模块详解
Feb 01 Python
python中的turtle库函数简单使用教程
Jul 23 Python
Python基于SMTP协议实现发送邮件功能详解
Aug 14 Python
python解析含有重复key的json方法
Jan 22 Python
python 将字符串中的数字相加求和的实现
Jul 18 Python
Python整数与Numpy数据溢出问题解决
Sep 11 Python
关于pandas的离散化,面元划分详解
Nov 22 Python
python实现暗通道去雾算法的示例
Sep 27 Python
Python找出最小的K个数实例代码
Jan 04 #Python
Python编程把二叉树打印成多行代码
Jan 04 #Python
2018年Python值得关注的开源库、工具和开发者(总结篇)
Jan 04 #Python
Win7下Python与Tensorflow-CPU版开发环境的安装与配置过程
Jan 04 #Python
教你用 Python 实现微信跳一跳(Mac+iOS版)
Jan 04 #Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 #Python
python实现简易云音乐播放器
Jan 04 #Python
You might like
php的控制语句
2006/10/09 PHP
php中强制下载文件的代码(解决了IE下中文文件名乱码问题)
2011/05/09 PHP
Codeigniter(CI)框架分页函数及相关知识
2014/11/03 PHP
PHP积分兑换接口实例
2015/02/09 PHP
深入理解PHP中的empty和isset函数
2016/05/26 PHP
thinkphp分页实现效果
2016/10/13 PHP
PHP Trait功能与用法实例分析
2020/06/03 PHP
IE iframe的onload方法分析小结
2010/01/07 Javascript
JS验证身份证有效性示例
2013/10/11 Javascript
JS+CSS实现带有碰撞缓冲效果的竖向导航条代码
2015/09/15 Javascript
easyui window refresh 刷新两次的解决方法(推荐)
2016/05/18 Javascript
浅谈移动端之js touch事件 手势滑动事件
2016/11/07 Javascript
node.js学习之交互式解释器REPL详解
2016/12/08 Javascript
微信小程序中做用户登录与登录态维护的实现详解
2017/05/17 Javascript
WebSocket的通信过程与实现方法详解
2018/04/29 Javascript
原生JS利用transform实现banner的无限滚动示例代码
2020/06/15 Javascript
Json实现传值到后台代码实例
2020/06/30 Javascript
[01:12:35]Spirit vs Navi Supermajor小组赛 A组败者组第一轮 BO3 第二场 6.2
2018/06/03 DOTA
[48:00]EG vs LGD 2018国际邀请赛淘汰赛BO3 第二场 8.26
2018/08/29 DOTA
Python ORM框架SQLAlchemy学习笔记之数据查询实例
2014/06/10 Python
Python使用openpyxl读写excel文件的方法
2017/06/30 Python
Python中pillow知识点学习
2018/04/30 Python
selenium跳过webdriver检测并模拟登录淘宝
2019/06/12 Python
python实现将一维列表转换为多维列表(numpy+reshape)
2019/11/29 Python
pytorch实现focal loss的两种方式小结
2020/01/02 Python
Python实例方法、类方法、静态方法区别详解
2020/09/05 Python
Daniel Wellington官方海外旗舰店:丹尼尔惠灵顿DW手表
2018/02/22 全球购物
Marlies Dekkers内衣荷兰官方网店:荷兰奢侈内衣品牌
2020/03/27 全球购物
大学生毕业求职简历的自我评价
2013/10/24 职场文书
常务副总经理任命书
2014/06/05 职场文书
应急管理培训方案
2014/06/12 职场文书
汉语专业毕业生自荐信
2014/07/06 职场文书
汽车质检员岗位职责
2015/04/08 职场文书
新郎父母婚礼致辞
2015/07/27 职场文书
AudioContext 实现音频可视化(web技术分享)
2022/02/24 Javascript
Java Spring Lifecycle的使用
2022/05/06 Java/Android