Python语言描述随机梯度下降法


Posted in Python onJanuary 04, 2018

1.梯度下降

1)什么是梯度下降?

因为梯度下降是一种思想,没有严格的定义,所以用一个比喻来解释什么是梯度下降。

Python语言描述随机梯度下降法

简单来说,梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因,我们找到的的最低点可能不是真正的最低点。如图所示,黑线标注的路线所指的方向并不是真正的地方。

既然是选择一个方向下山,那么这个方向怎么选?每次该怎么走?

先说选方向,在算法中是以随机方式给出的,这也是造成有时候走不到真正最低点的原因。

如果选定了方向,以后每走一步,都是选择最陡的方向,直到最低点。

总结起来就一句话:随机选择一个方向,然后每次迈步都选择最陡的方向,直到这个方向上能达到的最低点。

2)梯度下降是用来做什么的?

在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化,以便寻找到最优的参数,使得损失函数的值最小。而在求解机器学习参数的优化算法中,使用较多的就是基于梯度下降的优化算法(GradientDescent,GD)。

3)优缺点

优点:效率。在梯度下降法的求解过程中,只需求解损失函数的一阶导数,计算的代价比较小,可以在很多大规模数据集上应用

缺点:求解的是局部最优值,即由于方向选择的问题,得到的结果不一定是全局最优

步长选择,过小使得函数收敛速度慢,过大又容易找不到最优解。

2.梯度下降的变形形式

根据处理的训练数据的不同,主要有以下三种形式:

1)批量梯度下降法BGD(BatchGradientDescent):

针对的是整个数据集,通过对所有的样本的计算来求解梯度的方向。

优点:全局最优解;易于并行实现;

缺点:当样本数据很多时,计算量开销大,计算速度慢

2)小批量梯度下降法MBGD(mini-batchGradientDescent)

把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性

优点:减少了计算的开销量,降低了随机性

3)随机梯度下降法SGD(stochasticgradientdescent)

每个数据都计算算一下损失函数,然后求梯度更新参数。

优点:计算速度快

缺点:收敛性能不好

总结:SGD可以看作是MBGD的一个特例,及batch_size=1的情况。在深度学习及机器学习中,基本上都是使用的MBGD算法。

3.随机梯度下降

随机梯度下降(SGD)是一种简单但非常有效的方法,多用用于支持向量机、逻辑回归等凸损失函数下的线性分类器的学习。并且SGD已成功应用于文本分类和自然语言处理中经常遇到的大规模和稀疏机器学习问题。

SGD既可以用于分类计算,也可以用于回归计算。

1)分类

a)核心函数

sklearn.linear_model.SGDClassifier

b)主要参数(详细参数)

loss:指定损失函数。可选值:‘hinge'(默认),‘log',‘modified_huber',‘squared_hinge',‘perceptron',

"hinge":线性SVM

"log":逻辑回归

"modified_huber":平滑损失,基于异常值容忍和概率估计

"squared_hinge":带有二次惩罚的线性SVM

"perceptron":带有线性损失的感知器

alpha:惩罚系数

c)示例代码及详细解释

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDClassifier
from sklearn.datasets.samples_generator import make_blobs

##生产数据
X, Y = make_blobs(n_samples=50, centers=2, random_state=0, cluster_std=0.60)

##训练数据
clf = SGDClassifier(loss="hinge", alpha=0.01)
clf.fit(X, Y)

## 绘图
xx = np.linspace(-1, 5, 10)
yy = np.linspace(-1, 5, 10)

##生成二维矩阵
X1, X2 = np.meshgrid(xx, yy)
##生产一个与X1相同形状的矩阵
Z = np.empty(X1.shape)
##np.ndenumerate 返回矩阵中每个数的值及其索引
for (i, j), val in np.ndenumerate(X1):
  x1 = val
  x2 = X2[i, j]
  p = clf.decision_function([[x1, x2]]) ##样本到超平面的距离
  Z[i, j] = p[0]
levels = [-1.0, 0.0, 1.0]
linestyles = ['dashed', 'solid', 'dashed']
colors = 'k'
##绘制等高线:Z分别等于levels
plt.contour(X1, X2, Z, levels, colors=colors, linestyles=linestyles)
##画数据点
plt.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired,
      edgecolor='black', s=20)
plt.axis('tight')
plt.show()

d)结果图

Python语言描述随机梯度下降法

2)回归

SGDRegressor非常适合回归问题具有大量训练样本(>10000),对于其他的问题,建议使用的Ridge,Lasso或ElasticNet。

a)核心函数

sklearn.linear_model.SGDRegressor

b)主要参数(详细参数)

loss:指定损失函数。可选值‘squared_loss'(默认),‘huber',‘epsilon_insensitive',‘squared_epsilon_insensitive'

说明:此参数的翻译不是特别准确,请参考官方文档。

"squared_loss":采用普通最小二乘法

"huber":使用改进的普通最小二乘法,修正异常值

"epsilon_insensitive":忽略小于epsilon的错误

"squared_epsilon_insensitive":

alpha:惩罚系数

c)示例代码

因为使用方式与其他线性回归方式类似,所以这里只举个简单的例子:

import numpy as np
from sklearn import linear_model
n_samples, n_features = 10, 5
np.random.seed(0)
y = np.random.randn(n_samples)
X = np.random.randn(n_samples, n_features)
clf = linear_model.SGDRegressor()
clf.fit(X, y)

总结

以上就是本文关于Python语言描述随机梯度下降法的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python和shell变量互相传递的几种方法
Nov 20 Python
SQLite3中文编码 Python的实现
Jan 11 Python
Python自定义函数定义,参数,调用代码解析
Dec 27 Python
Python DataFrame设置/更改列表字段/元素类型的方法
Jun 09 Python
对python sklearn one-hot编码详解
Jul 10 Python
python中多个装饰器的执行顺序详解
Oct 08 Python
Python解析Excle文件中的数据方法
Oct 23 Python
详解Python进阶之切片的误区与高级用法
Dec 24 Python
python opencv 读取本地视频文件 修改ffmpeg的方法
Jan 26 Python
NumPy 数组使用大全
Apr 25 Python
python 实现多线程下载视频的代码
Nov 15 Python
Python版中国省市经纬度
Feb 11 Python
微信小程序跳一跳游戏 python脚本跳一跳刷高分技巧
Jan 04 #Python
python使用xpath中遇到:到底是什么?
Jan 04 #Python
python使用itchat库实现微信机器人(好友聊天、群聊天)
Jan 04 #Python
python实现微信跳一跳辅助工具步骤详解
Jan 04 #Python
Python中实现最小二乘法思路及实现代码
Jan 04 #Python
Python找出最小的K个数实例代码
Jan 04 #Python
Python编程把二叉树打印成多行代码
Jan 04 #Python
You might like
用PHP实现将GB编码转换为UTF8
2006/11/25 PHP
PHP在不同页面间传递Json数据示例代码
2013/06/08 PHP
PHP实现图片压缩的两则实例
2014/07/19 PHP
linux平台编译安装PHP7并安装Redis扩展与Swoole扩展实例教程
2016/09/30 PHP
php  单例模式详细介绍及实现源码
2016/11/05 PHP
php 替换文章中的图片路径,下载图片到本地服务器的方法
2018/02/06 PHP
css把超出的部分显示为省略号的方法兼容火狐
2008/07/23 Javascript
js网页中的(运行代码)功能实现思路
2013/02/04 Javascript
jQuery设置与获取HTML,文本和值的简单实例
2014/02/26 Javascript
Node.js和PHP根据ip获取地理位置的方法
2014/03/14 Javascript
谷歌地图打不开的解决办法
2014/08/07 Javascript
JS实现点击按钮自动增加一个单元格的方法
2015/03/09 Javascript
利用jquery禁止外层滚动条的滚动
2017/01/05 Javascript
JavaScript实现三级联动菜单效果
2017/08/16 Javascript
纯html+css+javascript实现楼层跳跃式的页面布局(实例代码)
2017/10/25 Javascript
vue实现的组件兄弟间通信功能示例
2018/12/04 Javascript
vue.js使用v-model实现表单元素(input) 双向数据绑定功能示例
2019/03/08 Javascript
jQuery实现的鼠标拖动画矩形框示例【可兼容IE8】
2019/05/17 jQuery
vue实现数字动态翻牌的效果(开箱即用)
2019/12/08 Javascript
Openlayers实现距离面积测量
2020/09/28 Javascript
对于Python编程中一些重用与缩减的建议
2015/04/14 Python
Python实现将罗马数字转换成普通阿拉伯数字的方法
2017/04/19 Python
Python数据结构之栈、队列的实现代码分享
2017/12/04 Python
python初学之用户登录的实现过程(实例讲解)
2017/12/23 Python
python特性语法之遍历、公共方法、引用
2018/08/08 Python
对python多线程与global变量详解
2018/11/09 Python
python实现简易学生信息管理系统
2020/04/05 Python
python requests.get带header
2020/05/05 Python
python读取excel数据并且画图的实现示例
2021/02/08 Python
css3实现文字扫光渐变动画效果的示例
2017/11/07 HTML / CSS
通过HTML5 Canvas API绘制弧线和圆形的教程
2016/03/14 HTML / CSS
大学生个人先进事迹材料范文
2014/05/03 职场文书
给老婆的检讨书
2015/01/27 职场文书
高中数学课堂教学反思
2016/02/18 职场文书
宪法宣传标语100条
2019/10/15 职场文书
Go各时间字符串使用解析
2021/04/02 Golang