python实现随机梯度下降法


Posted in Python onMarch 24, 2020

看这篇文章前强烈建议你看看上一篇python实现梯度下降法:

一、为什么要提出随机梯度下降算法

注意看梯度下降法权值的更新方式(推导过程在上一篇文章中有)

python实现随机梯度下降法

 也就是说每次更新权值python实现随机梯度下降法都需要遍历整个数据集(注意那个求和符号),当数据量小的时候,我们还能够接受这种算法,一旦数据量过大,那么使用该方法会使得收敛过程极度缓慢,并且当存在多个局部极小值时,无法保证搜索到全局最优解。为了解决这样的问题,引入了梯度下降法的进阶形式:随机梯度下降法。

二、核心思想

对于权值的更新不再通过遍历全部的数据集,而是选择其中的一个样本即可(对于程序员来说你的第一反应一定是:在这里需要一个随机函数来选择一个样本,不是吗?),一般来说其步长的选择比梯度下降法的步长要小一点,因为梯度下降法使用的是准确梯度,所以它可以朝着全局最优解(当问题为凸问题时)较大幅度的迭代下去,但是随机梯度法不行,因为它使用的是近似梯度,或者对于全局来说有时候它走的也许根本不是梯度下降的方向,故而它走的比较缓,同样这样带来的好处就是相比于梯度下降法,它不是那么容易陷入到局部最优解中去。

三、权值更新方式

python实现随机梯度下降法

(i表示样本标号下标,j表示样本维数下标)

四、代码实现(大体与梯度下降法相同,不同在于while循环中的内容)

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import axes3d
from matplotlib import style
 
 
#构造数据
def get_data(sample_num=1000):
 """
 拟合函数为
 y = 5*x1 + 7*x2
 :return:
 """
 x1 = np.linspace(0, 9, sample_num)
 x2 = np.linspace(4, 13, sample_num)
 x = np.concatenate(([x1], [x2]), axis=0).T
 y = np.dot(x, np.array([5, 7]).T) 
 return x, y
#梯度下降法
def SGD(samples, y, step_size=2, max_iter_count=1000):
 """
 :param samples: 样本
 :param y: 结果value
 :param step_size: 每一接迭代的步长
 :param max_iter_count: 最大的迭代次数
 :param batch_size: 随机选取的相对于总样本的大小
 :return:
 """
 #确定样本数量以及变量的个数初始化theta值
 
 m, var = samples.shape
 theta = np.zeros(2)
 y = y.flatten()
 #进入循环内
 loss = 1
 iter_count = 0
 iter_list=[]
 loss_list=[]
 theta1=[]
 theta2=[]
 #当损失精度大于0.01且迭代此时小于最大迭代次数时,进行
 while loss > 0.01 and iter_count < max_iter_count:
 loss = 0
 #梯度计算
 theta1.append(theta[0])
 theta2.append(theta[1]) 
 #样本维数下标
 rand1 = np.random.randint(0,m,1)
 h = np.dot(theta,samples[rand1].T)
 #关键点,只需要一个样本点来更新权值
 for i in range(len(theta)):
 theta[i] =theta[i] - step_size*(1/m)*(h - y[rand1])*samples[rand1,i]
 #计算总体的损失精度,等于各个样本损失精度之和
 for i in range(m):
 h = np.dot(theta.T, samples[i])
 #每组样本点损失的精度
 every_loss = (1/(var*m))*np.power((h - y[i]), 2)
 loss = loss + every_loss
 
 print("iter_count: ", iter_count, "the loss:", loss)
 
 iter_list.append(iter_count)
 loss_list.append(loss)
 
 iter_count += 1
 plt.plot(iter_list,loss_list)
 plt.xlabel("iter")
 plt.ylabel("loss")
 plt.show()
 return theta1,theta2,theta,loss_list
 
def painter3D(theta1,theta2,loss):
 style.use('ggplot')
 fig = plt.figure()
 ax1 = fig.add_subplot(111, projection='3d')
 x,y,z = theta1,theta2,loss
 ax1.plot_wireframe(x,y,z, rstride=5, cstride=5)
 ax1.set_xlabel("theta1")
 ax1.set_ylabel("theta2")
 ax1.set_zlabel("loss")
 plt.show()
 
if __name__ == '__main__':
 samples, y = get_data()
 theta1,theta2,theta,loss_list = SGD(samples, y)
 print(theta) # 会很接近[5, 7]
 
 painter3D(theta1,theta2,loss_list)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3.0与2.X版本的区别实例分析
Aug 25 Python
Flask框架的学习指南之用户登录管理
Nov 20 Python
python使用正则表达式替换匹配成功的组并输出替换的次数
Nov 22 Python
同时安装Python2 &amp; Python3 cmd下版本自由选择的方法
Dec 09 Python
对python .txt文件读取及数据处理方法总结
Apr 23 Python
在django中图片上传的格式校验及大小方法
Jul 28 Python
Pandas实现dataframe和np.array的相互转换
Nov 30 Python
Python内置方法实现字符串的秘钥加解密(推荐)
Dec 09 Python
python 两个一样的字符串用==结果为false问题的解决
Mar 12 Python
Python验证码截取识别代码实例
May 16 Python
python 实现网易邮箱邮件阅读和删除的辅助小脚本
Mar 01 Python
Python实现对齐打印 format函数的用法
Apr 28 Python
python实现决策树分类(2)
Aug 30 #Python
python实现决策树分类
Aug 30 #Python
python实现多人聊天室
Mar 31 #Python
Python实现将数据写入netCDF4中的方法示例
Aug 30 #Python
Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
Aug 30 #Python
Python使用一行代码获取上个月是几月
Aug 30 #Python
Python实现的读取/更改/写入xml文件操作示例
Aug 30 #Python
You might like
PHP排序之二维数组的按照字母排序实现代码
2011/08/13 PHP
php中动态变量用法实例
2015/06/10 PHP
Input 特殊事件onpopertychange和oninput
2009/06/17 Javascript
jquery mobile changepage的三种传参方法介绍
2013/09/13 Javascript
javascript中几个容易混淆的概念总结
2015/04/14 Javascript
JavaScript正则表达式中的ignoreCase属性使用详解
2015/06/16 Javascript
使用ngView配合AngularJS应用实现动画效果的方法
2015/06/19 Javascript
JavaScript中判断两个字符串是否相等的方法
2015/07/07 Javascript
解决JS组件bootstrap table分页实现过程中遇到的问题
2016/04/21 Javascript
JS 全屏和退出全屏详解及实例代码
2016/11/07 Javascript
JS前端加密算法示例
2016/12/22 Javascript
jquery插件开发之选项卡制作详解
2017/08/30 jQuery
JS实现的简单下拉框联动功能示例
2018/05/11 Javascript
vue中使用 pako.js 解密 gzip加密字符串的方法
2019/06/10 Javascript
Async/Await替代Promise的6个理由
2019/06/15 Javascript
vue之a-table中实现清空选中的数据
2019/11/07 Javascript
浅谈vue权限管理实现及流程
2020/04/23 Javascript
Python学习笔记之常用函数及说明
2014/05/23 Python
Centos5.x下升级python到python2.7版本教程
2015/02/14 Python
Python实现Mysql数据库连接池实例详解
2017/04/11 Python
使用python将图片格式转换为ico格式的示例
2018/10/22 Python
Python基础之文件读取的讲解
2019/02/16 Python
Django实现web端tailf日志文件功能及实例详解
2019/07/28 Python
Python range、enumerate和zip函数用法详解
2019/09/11 Python
Jupyter notebook快速入门教程(推荐)
2020/05/18 Python
详解基于canvas的视频遮罩插件
2018/01/04 HTML / CSS
Melijoe时尚童装德国官网:Melijoe德国
2016/09/03 全球购物
英国巧克力贸易公司:Chocolate Trading Company
2017/03/21 全球购物
Expedia英国:全球最大的在线旅游公司
2017/09/07 全球购物
橄榄树药房:OLIVEDA
2019/09/01 全球购物
护理自荐信
2013/10/22 职场文书
计划生育证明格式范本
2014/09/12 职场文书
酒店辞职信怎么写
2015/02/27 职场文书
事业单位财务人员岗位职责
2015/04/14 职场文书
导游词之舟山普陀山
2019/11/06 职场文书
解决ObjectMapper.convertValue() 遇到的一些问题
2021/06/30 Java/Android