python实现机器学习之多元线性回归


Posted in Python onSeptember 06, 2018

总体思路与一元线性回归思想一样,现在将数据以矩阵形式进行运算,更加方便。
一元线性回归实现代码
下面是多元线性回归用Python实现的代码:

import numpy as np

def linearRegression(data_X,data_Y,learningRate,loopNum):
 W = np.zeros(shape=[1, data_X.shape[1]])
 # W的shape取决于特征个数,而x的行是样本个数,x的列是特征值个数
 # 所需要的W的形式为 行=特征个数,列=1 这样的矩阵。但也可以用1行,再进行转置:W.T
 # X.shape[0]取X的行数,X.shape[1]取X的列数
 b = 0

 #梯度下降
 for i in range(loopNum):
  W_derivative = np.zeros(shape=[1, data_X.shape[1]])
  b_derivative, cost = 0, 0

  WXPlusb = np.dot(data_X, W.T) + b # W.T:W的转置
  W_derivative += np.dot((WXPlusb - data_Y).T, data_X) # np.dot:矩阵乘法
  b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)
  cost += (WXPlusb - data_Y)*(WXPlusb - data_Y)
  W_derivative = W_derivative / data_X.shape[0] # data_X.shape[0]:data_X矩阵的行数,即样本个数
  b_derivative = b_derivative / data_X.shape[0]


  W = W - learningRate*W_derivative
  b = b - learningRate*b_derivative

  cost = cost/(2*data_X.shape[0])
  if i % 100 == 0:
   print(cost)
 print(W)
 print(b)

if __name__== "__main__":
 X = np.random.normal(0, 10, 100)
 noise = np.random.normal(0, 0.05, 20)
 W = np.array([[3, 5, 8, 2, 1]]) #设5个特征值
 X = X.reshape(20, 5)  #reshape成20行5列
 noise = noise.reshape(20, 1)
 Y = np.dot(X, W.T)+6 + noise
 linearRegression(X, Y, 0.003, 5000)

特别需要注意的是要弄清:矩阵的形状

在梯度下降的时候,计算两个偏导值,这里面的矩阵形状变化需要注意。

梯度下降数学式子:

python实现机器学习之多元线性回归 

以代码中为例,来分析一下梯度下降中的矩阵形状。
代码中设了5个特征。

python实现机器学习之多元线性回归

WXPlusb = np.dot(data_X, W.T) + b

W是一个1*5矩阵,data_X是一个20*5矩阵
WXPlusb矩阵形状=20*5矩阵乘上5*1(W的转置)的矩阵=20*1矩阵

W_derivative += np.dot((WXPlusb - data_Y).T, data_X)

W偏导矩阵形状=1*20矩阵乘上 20*5矩阵=1*5矩阵

b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)

b是一个数,用1*20的全1矩阵乘上20*1矩阵=一个数

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python比较两个列表大小的方法
Jul 11 Python
浅析AST抽象语法树及Python代码实现
Jun 06 Python
asyncio 的 coroutine对象 与 Future对象使用指南
Sep 11 Python
Python编程实现的简单神经网络算法示例
Jan 26 Python
python批量导入数据进Elasticsearch的实例
May 30 Python
Python实现的knn算法示例
Jun 14 Python
Django框架中间件(Middleware)用法实例分析
May 24 Python
Pytorch在NLP中的简单应用详解
Jan 08 Python
python使用for...else跳出双层嵌套循环的方法实例
May 17 Python
Python函数__new__及__init__作用及区别解析
Aug 31 Python
Python读写Excel表格的方法
Mar 02 Python
利用Pycharm连接服务器的全过程记录
Jul 01 Python
python实现机器学习之元线性回归
Sep 06 #Python
Python import与from import使用及区别介绍
Sep 06 #Python
用python实现k近邻算法的示例代码
Sep 06 #Python
python K近邻算法的kd树实现
Sep 06 #Python
pyqt5的QComboBox 使用模板的具体方法
Sep 06 #Python
Python多线程编程之多线程加锁操作示例
Sep 06 #Python
python中将\\uxxxx转换为Unicode字符串的方法
Sep 06 #Python
You might like
php画图实例
2014/11/05 PHP
PHP正则验证Email的方法
2015/06/15 PHP
详解PHP中的 input属性(隐藏 只读 限制)
2017/08/14 PHP
laravel框架 api自定义全局异常处理方法
2019/10/11 PHP
尽可能写"友好"的"Javascript"代码
2007/01/09 Javascript
JavaScript 给汉字排序实例代码
2008/06/28 Javascript
超级有用的13个基于jQuery的内容滚动插件和教程
2011/07/31 Javascript
浅谈关于JavaScript的语言特性分析
2013/04/11 Javascript
ES2015 Symbol 一种绝不重复的值
2016/12/25 Javascript
5分钟打造简易高效的webpack常用配置
2017/07/04 Javascript
在vue项目中引入高德地图及其UI组件的方法
2018/09/04 Javascript
小程序云开发获取不到数据库记录的解决方法
2019/05/18 Javascript
JS利用prototype给类添加方法操作详解
2019/06/21 Javascript
NodeJS模块Buffer原理及使用方法解析
2020/11/11 NodeJs
[02:05]2014DOTA2国际邀请赛 BBC外卡赛赛后总结
2014/07/09 DOTA
使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
2014/01/19 Python
Python 性能优化技巧总结
2016/11/01 Python
不要用强制方法杀掉python线程
2017/02/26 Python
Python wxPython库使用wx.ListBox创建列表框示例
2018/09/03 Python
Python列表切片操作实例总结
2019/02/19 Python
Python面向对象程序设计多继承和多态用法示例
2019/04/08 Python
Python流行ORM框架sqlalchemy安装与使用教程
2019/06/04 Python
python tkinter窗口最大化的实现
2019/07/15 Python
Python selenium爬虫实现定时任务过程解析
2020/06/08 Python
详解在Python中使用Torchmoji将文本转换为表情符号
2020/07/27 Python
C++和python实现阿姆斯特朗数字查找实例代码
2020/12/07 Python
解决pytorch 模型复制的一些问题
2021/03/03 Python
CSS3制作酷炫的条纹背景
2017/11/09 HTML / CSS
HTML5 Geolocation API的正确使用方法
2018/12/04 HTML / CSS
满月酒答谢词
2014/01/14 职场文书
文秘应聘自荐书范文
2014/02/18 职场文书
临床专业自荐信
2014/06/22 职场文书
机电系毕业生求职信
2014/07/11 职场文书
搞笑婚礼主持词开场白
2015/11/24 职场文书
高中数学教学反思范文
2016/02/18 职场文书
Windows 11要来了?微软文档揭示Win11太阳谷 / Win10有两个不同版本
2021/11/21 数码科技