python实现机器学习之多元线性回归


Posted in Python onSeptember 06, 2018

总体思路与一元线性回归思想一样,现在将数据以矩阵形式进行运算,更加方便。
一元线性回归实现代码
下面是多元线性回归用Python实现的代码:

import numpy as np

def linearRegression(data_X,data_Y,learningRate,loopNum):
 W = np.zeros(shape=[1, data_X.shape[1]])
 # W的shape取决于特征个数,而x的行是样本个数,x的列是特征值个数
 # 所需要的W的形式为 行=特征个数,列=1 这样的矩阵。但也可以用1行,再进行转置:W.T
 # X.shape[0]取X的行数,X.shape[1]取X的列数
 b = 0

 #梯度下降
 for i in range(loopNum):
  W_derivative = np.zeros(shape=[1, data_X.shape[1]])
  b_derivative, cost = 0, 0

  WXPlusb = np.dot(data_X, W.T) + b # W.T:W的转置
  W_derivative += np.dot((WXPlusb - data_Y).T, data_X) # np.dot:矩阵乘法
  b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)
  cost += (WXPlusb - data_Y)*(WXPlusb - data_Y)
  W_derivative = W_derivative / data_X.shape[0] # data_X.shape[0]:data_X矩阵的行数,即样本个数
  b_derivative = b_derivative / data_X.shape[0]


  W = W - learningRate*W_derivative
  b = b - learningRate*b_derivative

  cost = cost/(2*data_X.shape[0])
  if i % 100 == 0:
   print(cost)
 print(W)
 print(b)

if __name__== "__main__":
 X = np.random.normal(0, 10, 100)
 noise = np.random.normal(0, 0.05, 20)
 W = np.array([[3, 5, 8, 2, 1]]) #设5个特征值
 X = X.reshape(20, 5)  #reshape成20行5列
 noise = noise.reshape(20, 1)
 Y = np.dot(X, W.T)+6 + noise
 linearRegression(X, Y, 0.003, 5000)

特别需要注意的是要弄清:矩阵的形状

在梯度下降的时候,计算两个偏导值,这里面的矩阵形状变化需要注意。

梯度下降数学式子:

python实现机器学习之多元线性回归 

以代码中为例,来分析一下梯度下降中的矩阵形状。
代码中设了5个特征。

python实现机器学习之多元线性回归

WXPlusb = np.dot(data_X, W.T) + b

W是一个1*5矩阵,data_X是一个20*5矩阵
WXPlusb矩阵形状=20*5矩阵乘上5*1(W的转置)的矩阵=20*1矩阵

W_derivative += np.dot((WXPlusb - data_Y).T, data_X)

W偏导矩阵形状=1*20矩阵乘上 20*5矩阵=1*5矩阵

b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)

b是一个数,用1*20的全1矩阵乘上20*1矩阵=一个数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中类的继承代码实例
Oct 28 Python
python实现根据用户输入从电影网站获取影片信息的方法
Apr 07 Python
python3实现暴力穷举博客园密码
Jun 19 Python
老生常谈python的私有公有属性(必看篇)
Jun 09 Python
Python使用functools实现注解同步方法
Feb 06 Python
python3实现windows下同名进程监控
Jun 21 Python
Face++ API实现手势识别系统设计
Nov 21 Python
python中Lambda表达式详解
Nov 20 Python
通过实例解析Python调用json模块
Dec 11 Python
Pytorch 数据加载与数据预处理方式
Dec 31 Python
Keras: model实现固定部分layer,训练部分layer操作
Jun 28 Python
python入门学习关于for else的特殊特性讲解
Nov 20 Python
python实现机器学习之元线性回归
Sep 06 #Python
Python import与from import使用及区别介绍
Sep 06 #Python
用python实现k近邻算法的示例代码
Sep 06 #Python
python K近邻算法的kd树实现
Sep 06 #Python
pyqt5的QComboBox 使用模板的具体方法
Sep 06 #Python
Python多线程编程之多线程加锁操作示例
Sep 06 #Python
python中将\\uxxxx转换为Unicode字符串的方法
Sep 06 #Python
You might like
PHP和Mysqlweb应用开发核心技术-第1部分 Php基础-2 php语言介绍
2011/07/03 PHP
PHP number_format() 函数定义和用法
2012/06/01 PHP
php验证手机号码(支持归属地查询及编码为UTF8)
2013/02/01 PHP
php5.5中类级别的常量使用介绍
2013/10/02 PHP
php定时执行任务设置详解
2015/02/06 PHP
Laravel路由设定和子路由设定实例分析
2016/03/30 PHP
thinkPHP商城公告功能开发问题分析
2016/12/01 PHP
Yii2配置Nginx伪静态的方法
2017/05/05 PHP
PHP操作Redis常用技巧总结
2018/04/24 PHP
微信公众平台开发教程⑥ 微信开发集成类的使用图文详解
2019/04/10 PHP
Yii框架常见缓存应用实例小结
2019/09/09 PHP
json 入门基础教程 推荐
2009/10/31 Javascript
JS实现控制表格单元格垂直对齐的方法
2015/03/30 Javascript
jQuery实现页面内锚点平滑跳转特效的方法总结
2015/05/11 Javascript
JS简单模拟触发按钮点击功能的方法
2015/11/30 Javascript
jQuery使用eraser.js插件实现擦除、刮刮卡效果的方法【附eraser.js下载】
2017/04/28 jQuery
js简易版购物车功能
2017/06/17 Javascript
vue-cli + sass 的正确打开方式图文详解
2017/10/27 Javascript
Vue实现带进度条的文件拖动上传功能
2018/02/23 Javascript
微信小程序实现bindtap等事件传参
2019/04/08 Javascript
vue登录注册实例详解
2019/09/14 Javascript
vue项目中使用bpmn为节点添加颜色的方法
2020/04/30 Javascript
详解Vue2的diff算法
2021/01/06 Vue.js
python实现在无须过多援引的情况下创建字典的方法
2014/09/25 Python
python生成1行四列全2矩阵的方法
2018/08/04 Python
Pytorch实现LSTM和GRU示例
2020/01/14 Python
k-means 聚类算法与Python实现代码
2020/06/01 Python
Html5导航栏吸顶方案原理与对比实现
2020/06/10 HTML / CSS
物流创业计划书
2014/02/01 职场文书
大学生安全责任书
2014/07/25 职场文书
校长创先争优承诺书
2014/08/30 职场文书
护士辞职信怎么写
2015/02/27 职场文书
教你使用TensorFlow2识别验证码
2021/06/11 Python
linux下安装redis图文详细步骤
2021/12/04 Redis
python接口测试返回数据为字典取值方式
2022/02/12 Python
Win11自动黑屏怎么办 Win11自动黑屏设置教程
2022/07/15 数码科技